flink 写入到es_Flink 实时写入数据到 ElasticSearch 性能调优

简介： 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure，数据积压严重。单次 bulk 的写入量为：3000/50mb/30s，并行度为 48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。

作者：张刘毅

背景说明

线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure，数据积压严重。单次 bulk 的写入量为：3000/50mb/30s，并行度为 48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。本着复现问题进行优化就能解决的思路进行调优测试。

测试环境

• Elasticsearch 2.3.3
• Flink 1.6.3
• flink-connector-elasticsearch 2_2.11
• 八台 SSD，56 核 ：3 主 5 从

Rally 分布式压测 ES 集群

从压测结果来看，集群层面的平均写入性能大概在每秒 10 w+ 的 doc。

Flink 写入测试

配置文件

config.put("cluster.name