elasticsearch 调优过程_now throttling indexing，32岁的程序员被裁

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

refresh间隔	副本数	总耗时	bulk 量	translog条数	translog大小	文档总数	速度	备注
1s	2	130min	1000	5000	512 MB(默认)	15kw	11.5W/min
1s	2	90min	2000	5000	512 MB(默认)	17kw	18.8W/min
60s	2	40min	2000	5000	512 MB(默认)	15KW	37.5W/min
60s	2	47min	2000	5000	512 MB(默认)	17KW	36.1W/min
60s	0	25min	2000	5000	512 MB(默认)	17kw	68W/min
60s	0	28min	2000	10000	1g	17kw	60.7W/min	es日志可以看出  merge限制了索引的速度

所以创建流程图

所以优化从几个点开始：减少segment  优化translog 以及缩减es的文档大小

1、调整mapping；缩小索引大小

1、去掉_all _all:{“enabled”:“false”}
2、如果分词不参与打分”norms”：false
3、不需要短语搜索可以禁用positions： “indexe_options”:“freqs”
4、source启用压缩 _source:{“compress”:“true”}

2、设置refresh时间 为60s

3、设备segement和合并磁盘限制

段合并是很消耗计算资源和磁盘IO的操作，特别是出现比较大的段合并。 当出现段合并的速度落后于索引写入的速度，Elasticsearch为了避免出现堆积的段数量爆发，会降低单个线程的索引写入速度，并且会在INFO的log里记录“now throttling indexing”Elasticsearch默认比较保守，不想让搜索的性能被后台的段合并影响，默认的段合并速率限制比较低，默认是20MB/s。可以通过grep es的日志，看下日志里面 now throttling indexing 多不多。如果不多说明合并的速度并没有落后与写入的速度。
设置限制大小：indices.store.throttle.max_bytes_per_sec：100m
如果没有搜索可以把限制关掉
“indices.store.throttle.type” : “none”
索引完在打开

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**