![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Logstash
文章平均质量分 79
八方来财添好运
10年以上工作经验,精通spring全家桶包括:Spring,SpringBoot,SpringCloud,cat,apollo,nacos,Lostash,Elasticsearch,kibana,mysqlMHA,RabbitMQ,Kafka,ActiveMQ使用开源代码Apache Sarding项目修改源码支持mysql进行年月日小时分库分表,docker做集群服务,Jekins做项目发布,GitLab做项目管理,RuoYi-Vue-Atomikos项目开源加入若依生态圈组件,支持多数据源分布式事务,数据线动态添加,支持区域分库。
展开
-
Logstash、sharding-proxy组件高级配置
通过设置 -w 参数指定 pipeline worker 数量,也可直接修改配置文件 logstash.yml。这会提高 filter 和 output 的线程数,如果需要的话,将其设置为 cpu 核心数的几倍是安全的,线程在 I/O 上是空闲的。默认每个输出在一个 pipeline worker 线程上活动,可以在输出 output 中设置 workers 设置,不要将该值设置大于pipeline worker 数。原创 2023-09-26 08:00:00 · 424 阅读 · 2 评论 -
Lostash同步Mysql数据到Elasticsearch(四)通过kibana辅助查看同步情况
不知是什么原因引起的,在过滤器中使用if else,找不到else相关插件,暂未找到原因,使用if取反暂时解决。创建新索引,讲数据拷贝至新索引,删除旧索引,增加分片数后,在把数据拷贝回来,使用ES内部迁移速度飞快。在数据同步时,我们需要使用一些常用查询,来确认脚本及索引情况,下面的常用命令可以帮到大家。原创 2023-09-20 09:00:00 · 106 阅读 · 0 评论 -
Lostash同步Mysql数据到Elasticsearch(三)Elasticsearch模板与索引设置
Logstash数据同步 Elasticsearch模板与索引设置原创 2023-09-19 21:17:43 · 491 阅读 · 0 评论 -
Lostash同步Mysql数据到ElasticSearch(二)logstash脚本配置和常见坑点
Logstash脚本编辑 生产实用干货原创 2023-09-19 21:15:59 · 720 阅读 · 0 评论 -
Lostash同步Mysql数据到Elasticsearch(一)服务介绍及环境配置
Logstash是一个数据流引擎:它是用于数据物流的开源流式ETL引擎,在几分钟内建立数据流管道,具有水平可扩展及韧性且具有自适应缓冲,不可知的数据源,具有200多个集成和处理器的插件生态系统,使用Elastic Stack监视和管理部署Logstash包含3个主要部分: 输入(inputs),过滤器(filters)和输出(outputs)。inputs主要用来提供接收数据的规则,比如使用采集文件内容;filters主要是对传输的数据进行过滤,比如使用grok规则进行数据过滤;原创 2023-09-18 09:00:00 · 115 阅读 · 0 评论