ElasticSearch 优化总结_elasticsearch - nofile 65535

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

• 设置具体用户可用的文件描述符数量。

user soft memlock unlimited
user hard memlock unlimited

• 锁定内存，拒绝 swapping

session required pam_limits.so

• 这是告诉Linux在用户完成系统登录后，应该调用pam_limits.so模块来设置系统对该用户可使用的各种资源数量的最大限制(包括用户可打开的最大文件数限制)，而pam_limits.so模块就会从/etc/security/limits.conf文件中读取配置来设置这些限制值。修改完后保存此文件

bootstrap.mlockall: true

• 运行JVM锁住内存，不让JVM写入swapping，避免降低ES的性能。

indices.fielddata.cache.size: 40%
indices.cache.filter.size: 30%
indices.cache.filter.terms.size: 1024mb

• 设置各部分所占用的缓存比例，默认是没有限制的，很可能会撑爆 JVM 堆空间(设置 fielddata 会影响搜索性能)。

threadpool.search.type: cached
threadpool.search.size: 100
threadpool.search.queue_size: 2000

• 线程池的设置， size 默认是 处理器核数的 5 倍。

transport.tcp.compress

• 设置所有节点间的传输数据是经过压缩的。默认不压缩。

ES_HEAP_SIZE

• 默认 1G，做好不要超过 32 G。

OS 参数配置

打开 sysctl.conf

vim /etc/sysctl.conf

vm.swappiness=1 # 关闭 swapping
net.core.somaxconn=65535 # 上调端口的最大连接数
vm.max_map_count=262144 #(default) http://www.redhat.com/magazine/001nov04/features/vm
fs.file-max=518144 # http://www.tldp.org/LDP/solrhe/Securing-Optimizing-Linux-RH-Edition-v1.3/chap6sec72.html

如果不想重启，可以通过sysctl -p动态加载/etc/sysctl.conf文件，但建议这样做之前先清空swap。

然后，打开 limits.conf

vim /etc/security/limits.conf

注意，下面这些配置要保证 elastic search 要能够访问到，所以强烈建议为 es 新创建一个用户，比如 elasticsearch

elasticsearch soft nofile 65535
elasticsearch hard nofile 65535
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

为了使以上参数永久生效，还要设置两个地方

vim /etc/pam.d/common-session-noninteractive
vim /etc/pam.d/common-session

添加如下属性

session required pam_limits.so

可能需要重启机器！

ES

打开 elasticsearch 的配置文件 elasticsearch.yml，添加如下属性

bootstrap.mlockall: true

transport.tcp.compress: true

indices.fielddata.cache.size: 40%
indices.cache.filter.size: 30%
indices.cache.filter.terms.size: 1024mb

threadpool:
search:
type: cached
size: 100
queue_size: 2000

设置环境变量，最好在 ~/.bashrc，或者是 /etc/profile 下设置：

不要超过 32 G

export ES_HEAP_SIZE=4g

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）**
[外链图片转存中…(img-rJ5Qh3lr-1713299706244)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！