logstash elasticsearch output插件的bulk提交

最新推荐文章于 2024-09-05 08:50:19 发布

笑天居士

最新推荐文章于 2024-09-05 08:50:19 发布

阅读量7.8k

点赞数

分类专栏： Elasticsearch 文章标签： bulk

本文链接：https://blog.csdn.net/jiao_fuyou/article/details/49589425

版权

本文介绍了Logstash使用Elasticsearch输出插件时的bulk提交机制，重点关注了`flush_size`和`idle_flush_time`两个关键参数。`flush_size`设定批量提交的事件数量阈值，而`idle_flush_time`则规定了自上次刷新以来，经过多长时间后强制进行刷新。这两个参数协同工作，确保快速和慢速的日志流都能实时地被处理和提交到Elasticsearch。

摘要由CSDN通过智能技术生成

logstash的output设置为elasticsearch时，实际上logstash在向es中插入数据时也是bulk提交的，和指提交相关的设置有以下两个参数：

flush_size

Value type is number
Default value is 500
This plugin uses the bulk index API for improved indexing performance. To make efficient bulk API calls, we will buffer a certain number of events before flushing that out to Elasticsearch. This setting controls how many events will be buffered before sending a batch of events. Increasing the flush_size has an effect on Logstash’s heap size. Remember to also increase the heap size using LS_HEAP_SIZE if you are sending big documents or have increased the flush_size to a higher value.

表示多少条flush一起提交到es.