es 插入很慢_ElasticSearch插入性能优化

一、问题分析

最近公司的es插入/更新性能大幅度下降，单日数据(70w)刷入从原来10min+，变成了现在的解决3h。插入效率从1k-2k条/s，到现在100-200条/s。

总结了下问题的原因，有以下几点：

堆内存不足

segment数量过多导致内存吃紧

业务线程阻塞在BulkProcessor对象

二、问题优化方案

1、堆内存不足问题

如下图可看出，堆内存已经非常吃紧。Index Memory/segment这些都会吃掉我们大量内存。3g堆内存已经不能满足业务需求，只能充钱扩容了。

2、segment数量过多导致内存吃紧

更新数据导致索引变大

我们的业务是一个月一个索引，默认5个分片。每个一段时间会对几个月的数据进行重刷，重刷完后改动几率很低，基本只供查询。另外我对数据设置了唯一ID，没有用自动生成对ID。按道理，相同id对数据进行覆盖，重刷后索引大小不应该发生变化。但是每次重刷完后，索引大小都会变大几个G。这是什么原因导致对呢？

这里用mysql的索引和es的segment索引进行对比，mysql的索引在做了更新操作只会，会重构索引树。对于大量数据，这个操作是非常耗时的。我们看看es官方文档对于索引更新的介绍：

es对于更新和删除操作，不会重构原来的索引，这样会非常耗时，不够快。怎么最快？把原来的数据标记为删除，新建索引。

对