一、问题分析
最近公司的es插入/更新性能大幅度下降,单日数据(70w)刷入从原来10min+,变成了现在的解决3h。插入效率从1k-2k条/s,到现在100-200条/s。
总结了下问题的原因,有以下几点:
堆内存不足
segment数量过多导致内存吃紧
业务线程阻塞在BulkProcessor对象
二、问题优化方案
1、堆内存不足问题
如下图可看出,堆内存已经非常吃紧。Index Memory/segment这些都会吃掉我们大量内存。3g堆内存已经不能满足业务需求,只能充钱扩容了。
2、segment数量过多导致内存吃紧
更新数据导致索引变大
我们的业务是一个月一个索引,默认5个分片。每个一段时间会对几个月的数据进行重刷,重刷完后改动几率很低,基本只供查询。另外我对数据设置了唯一ID,没有用自动生成对ID。按道理,相同id对数据进行覆盖,重刷后索引大小不应该发生变化。但是每次重刷完后,索引大小都会变大几个G。这是什么原因导致对呢?
这里用mysql的索引和es的segment索引进行对比,mysql的索引在做了更新操作只会,会重构索引树。对于大量数据,这个操作是非常耗时的。我们看看es官方文档对于索引更新的介绍:
es对于更新和删除操作,不会重构原来的索引,这样会非常耗时,不够快。怎么最快?把原来的数据标记为删除,新建索引。
对