elasticsearch使用优化备忘

做过哪些优化

官方优化建议

1.jvm使用合适的jvm
2.增大可以打开的文件数
3.增大可以开启的线程数
4.增大mmap使用的限制vma
5.减少swap,可以开启memory lock,或者禁用swap
6.master expecial

业务中

高写入压力

bulk操作
增大index-buffer
调整write线程池，效果不大
全量更新的时候设置replica=0,更新完成后再打开
使用高性能的本地ssd

下面做法牺牲部分一致性和实时性
refresh_interval 加大
translate log设置为异步

还有一个提高写入的方式是 使用多线程写入，这种首先保证写入压力不再es侧

高查询压力

提高副本数number_of_replicas
减小分片大小，提升number_of_shards
让更多的数据能够保留在内存中，设置更大的内存
使用更高性能的磁盘

提升集群稳定性方面

使用alias来进行全量index的无缝替换
max_result_window 设置翻页深度，前端改造
set slow_log进行监控
add coordinator node 并使用g1
add node的时候关闭auto_rebalance,手动均衡
node_left.delayed_timeout 加大，设置为4h
避免version_confilict
无关的字段设置index-option减少存储
监控

日志集群设置优化

主要是增强写入能力
best_commpression
index-sort
update refresh_interval greater
logstash 设置assign-strategy
冷热数据分离，减小存储成本
无关的字段设置index-option
translog 设置为asyn
dynamic_templates 动态模板