Elasticsearch写入性能优化

性能测试

• 在一个节点的一个分片，不设置副本，测试性能
• 在完全默认设置上记录性能数据，作为测试的基准线
• 确保性能测试持续30分钟以上以确认长时间的性能；短时间的测试可能不会碰到segment合并和GC，无法确认这些因素的影响
• 每次基于默认基准线更改一个参数，如果性能有提升就保留设置，并基于此设置做后续的测试

bulk使用建议

• 每个请求大小建议在5-15MB，逐步增大测试,当接收到EsRejectedExecutionException，就说明已经到达节点的瓶颈了，就需要减少并发或者升级硬件增加节点
• 当写入数据时，确保bulk请求时轮询访问所有节点，不要发送所有请求到一个结点导致这一个节点要在内存存储所有请求的数据去处理

优化磁盘IO

• 使用SSD
• 使用RAID 0，不用镜像备份，用replicas保证数据正确性，增大磁盘IO
• 使用多个磁盘给Elasticsearch访问，通过在path.data中添加
• 不使用远程存储，如NFS／SMB／CIFS；延时将成为性能瓶颈

段合并

段合并是很消耗计算资源和磁盘IO的操作，特别是出现比较大的段合并。
当出现段合并的速度落后于索引写入的速度，Elasticsearch为了避免出现堆积的段数量爆发，会降低单个线程的索引写入速度，并且会在INFO的log里记录“now throttling indexing“

Elasticsearch默认比较保守，不想让搜索的性能被