logstash 同步ES数据吞吐率优化

最新推荐文章于 2024-04-28 14:18:34 发布
最新推荐文章于 2024-04-28 14:18:34 发布
阅读量843 收藏 2
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch es linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41953276/article/details/115702660
版权

背景：在迁移上公有云迁移时，因目的端的ES集群开发、测试环境配置较低，导致在用logstash同步时会使得目的端的ES集群GC过高，从而导致集群不可用

策略：减低减少ES的写入，减少对目的端集群的影响

优化参数：

配置文件logstash.yml

# pipeline线程数，官方建议是等于CPU内核数
pipeline.workers: 4

# pipeline output线程数，就是写ES的线程数，这里配置与目的端ES集群CPU核数一致
pipeline.output.workers: 4

# 每次发送的事件数，具体逐渐增大测试最优
pipeline.batch.size: 10000

# 发送延时
pipeline.batch.delay: 5

当batch.size增大，es处理的事件数就会变少，写入也就越快

乌托邦为什么被占用了
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES + Logstash 优化
Beckham的博客
07-21 1183
Logstash优化 Logstash 优化点 filebeat-> logstash tcp连接 (目前 非瓶颈) 单台logstash 节点至少可以支撑上100台filebeat节点的tcp连连接请求 网络带宽： 1000Mb logstash-> es tcp连接 (目前 非瓶颈) 仅单节点传输 内网带宽不是瓶颈 logstash input (目前 非瓶颈） 接收filebeat推送日志，接收量由filter,output协同决定。 logstash filter &
Logstash写入Elasticsearch并发问题
勤学、勤思
03-14 2228
Logstash写入Elasticsearch并发问题               公司项目是通过Logstash采集日志存入Elasticsearch集群中，Logstash通过配置文件启动的时候报如下错误：     [2017-03-11T10:08:11,390][ERROR][Logstash.outputs.elasticsearch] Action [2017-03-11T1...
ELASTICSEARCH 优化写入速度到极限
d18247128851的博客
11-13 1万+
原文连接：https://www.easyice.cn/archives/207
ELK下之Logstash性能调优（从千/秒=>万/秒=>10万/秒）
weixin_43390992的博客
03-31 1万+
介绍 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。 Logstash优化 Logstash建议在修改配置项以提高性能的时候，每次只修改一个配置项并观察其性能和资源消耗（cpu、io、内存）。性能检查项包括： 1、检查input和output设备 1）、CPU 2）、Memory 3）、io 1、磁盘io 2、网络io 2...
使用logstash迁移ES数据并解决限流等问题
2401_84170337的博客
04-28 376
原来如此，需要指定routing，配置文件一通改，就变成了下面的模样input {# input中添加routingoutput {# 指定routing那么问题来了，如果你所有的索引都用这个模板，那么当上游没有指定routing字段的时候，下游的数据中的routing字段就会是，真的是人都麻了，这个logstash组件一段都不智能，那么这个问题能解决吗？别急，看到最后你就知道了。
Logstash：使用并行 Logstash 管道提高持久队列吞吐量
Elastic 中国社区官方博客
08-02 3589
默认情况下，Logstash 管道阶段（输入→管道工作器）之间使用内存中有界队列来缓冲事件。 但是，为了防止异常终止期间的数据丢失，Logstash 具有持久性队列功能，可以启用该功能以将消息队列存储在磁盘上。 队列位于输入和过滤器阶段之间，如下所示： input → persistent queue → filter + output 根据持久队列博客文章，Logstash 持久队列应该对整体吞吐量产生很小的影响。 尽管对于管道受 CPU 约束的用例通常是这样，但在其他情况下，持久队列可能会导致 L
Elasticsearch：从写入原理谈写入优化
铭毅天下Elasticsearch
04-05 7733
1、线上实战问题问题 1：想要请问一下，我这边需求是每分钟利用 sparksteaming 插入按天的索引150万条数据。一般情况下还好，索引7个分片，1副本，但是偶尔会出现延迟很高的情况...
logstash7.3消费性能问题排查及调优
woturanshihuaidexiao的博客
03-13 2862
1、logstash吞吐量 logstash的拉去速率太慢，吞吐量存在瓶颈，影响es的写入速率 修改配置文件logstash.yml 每次发送的事件数 pipeline.batch.size: 2048 发送延时 pipeline.batch.delay: 50 监视配置文件的改变，并且当配置文件被修改以后自动重新加载配置文件 config.reload.automatic: true 为了检查配...
Logstash导入mysql数据到es慢的解决方法
qq_38798909的博客
10-18 2446
有一个千万级别的数据库存放在Mysql中，由于直接在Mysql中使用语句查询，一次的时间要十几分钟，无法满足应用的需求，因此考虑将其导入到elasticsearch中进行倒排索引查询。 使用的工具是Logstash，但是Logstash的导入速度随着导入数据量的增大变得越来越慢。查询后发现在数据量增大时变慢的原因是因为mysql的深度分页达到了瓶颈。因为logstash在我们自己写的的sql上又加了一层作为封装 在logstash的导入conf配置文件中的statement代码 SELECT * F
es 插入很慢_ES节点丢失导致实时数据导入速度特别慢
weixin_42171208的博客
02-23 1212
一个节点死机了，无法自动重启。通过logtash导数据，由于当天入的数据是0备份，节点丢失后，某些shard丢失，导致集群一直处于red状态。节点丢失后，该索引的导入速度直线下降。经测试发现是logtash的原因，logtash的input阶段是一个线程，filter和output用一个线程。中间通过一个同步队列缓存数据。如果在output的过程中出现问题，那么失败的数据会无限制地放回同步队列，然...
ES8生产实践——ES索引策略配置与写入优化
qq_33816243的博客
08-17 1666
数据流是es7.9新推出的功能，它是索引、模板、rollover、ilm 基于时序性数据的综合产物。在es8中，凡是日志（logs）、事件（events）、指标（metrics）和其他持续生成的数据，都强烈推荐创建数据流类型的索引。
elasticsearch logstash同步数据 视频教程
最新发布
06-23
ELK elasticsearch logstash 同步数据 视频教程
用于SqlServer 同步数据到ElasticSearch的logstash测试
05-14
标题 "用于SqlServer 同步数据到ElasticSearch的logstash测试" 描述了一种通过Logstash将SQL Server数据库中的数据实时或定期同步到ElasticSearch的解决方案。在.NET平台上，这种数据同步通常是为了实现大数据分析、...
基于logstash实现日志文件同步elasticsearch
01-19
本文就logstash同步日志到ES做下详细解读。 1、目的： 将本地磁盘存储的日志文件同步（全量同步、实时增量同步）到ES中。 2、源文件： [root@5b9dbaaa148a test_log]# ll -rwxrwxrwx 1 root root 170 Jul 5 08:...
logstash同步elasticsearch笔记
03-20
logstash同步elasticsearch笔记 2018,包括配置文件，和demo
ElasticSearch + Logstash 自动同步mysql数据
01-04
**Elasticsearch + Logstash 自动同步MySQL数据详解** 在大数据时代，实时、高效的数据处理与分析成为企业不可或缺的能力。Elasticsearch作为一个强大的全文搜索引擎，以其高性能、分布式、易扩展的特点，广泛应用...
logstash mysql 性能_logstash导入mysql上亿级别数据的效率问题
weixin_34175919的博客
01-19 413
我也遇到你同样问题，可以这么解决：1.给updated_ts时间字段加上索引。2.分批处理原则(1)你的SQL：每批处理100000个SELECT a.party_id AS id ,a.* FROM PARTY_ALL_1 a WHERE a.updated_ts > '2011-11-17 13:23:58' order by a.updated_ts ascLIMIT 100000;...
记录一次ES写入速度慢的解决过程
丹凤朝阳
11-02 5714
最近解决了一个因索引导致ES写入性能很低的问题，记录如下： 问题描述： 机器配置8C/16G 5个数据节点，照理来说性能应该不错，但是写入速度TPS只有4000左右，之后我们对写入进行bulk批量写入，虽然整体写入数据性能有所提高，但是ES的TPS依然不高，另外隔一段时间就发现ES的写入队列比较长，拒绝请求也非常高，查看Es日常日志和慢日志发现在请求过程中存在大量如下错误： failed to execute bulk item (index) BulkShardRequest [[xxxxx][0]]
针对Logstash吞吐量一次优化
热门推荐
houzhe_adore的博客
05-04 4万+
Logstash性能优化：场景：      部署节点配置极其牛逼（三台 48核 256G内存 万兆网卡的机器），ES性能未达到瓶颈，而filebeat又有源源不断的日志在推送（日志堆积），此时却发现ES吞吐量怎么也上不去，基本卡在单logstash 7000/s 的吞吐。      这时候我们基本确定瓶颈在logstash上。logstash部署在服务端，主要处理接收filebeat（部署在节点机
logstash 同步数据elasticsearch
07-27
要将数据从Logstash同步到Elasticsearch，您可以使用Logstash的elasticsearch输出插件。以下是一些步骤来配置Logstash和Elasticsearch之间的数据同步： 1. 首先，确保您已经安装了Logstash和Elasticsearch，并且它们都在运行中。 2. 在Logstash的配置文件中，添加一个elasticsearch输出插件的配置段。您可以在Logstash配置文件的末尾添加以下内容： ``` output { elasticsearch { hosts => ["localhost:9200"] index => "your_index_name" } } ``` 请注意，您可能需要根据您的环境进行一些自定义设置，例如更改主机和索引名称。 3. 保存并退出配置文件。 4. 启动Logstash服务，它将开始将数据发送到Elasticsearch。 Logstash将会将数据批量发送到Elasticsearch以进行索引。您可以根据自己的需求自定义Logstash的输入插件来收集不同来源的日志数据，并使用过滤器插件进行数据转换和处理。 请确保您已经正确配置了Logstash和Elasticsearch的相关设置，并且它们可以相互通信。这样，Logstash就可以将数据同步到Elasticsearch中了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值