elasticsearch性能优化

一、配置文件调优
elasticsearch.yml
内存锁定
bootstrap.memory_lock:true 允许 JVM 锁住内存,禁止操作系统交换出去。

zen.discovery
Elasticsearch 默认被配置为使用单播发现,以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了,否则你得到的结果就是一个节点意外的加入到了你的生产环境,仅仅是因为他们收到了一个错误的组播信号。ES是一个P2P类型的分布式系统,使用gossip协议,集群的任意请求都可以发送到集群的任一节点,然后es内部会找到需要转发的节点,并且与之进行通信。在es1.x的版本,es默认是开启组播,启动es之后,可以快速将局域网内集群名称,默认端口的相同实例加入到一个大的集群,后续再es2.x之后,都调整成了单播,避免安全问题和网络风暴;

单播discovery.zen.ping.unicast.hosts,建议写入集群内所有的节点及端口,如果新实例加入集群,新实例只需要写入当前集群的实例,即可自动加入到当前集群,之后再处理原实例的配置即可,新实例加入集群,不需要重启原有实例;节点zen相关配置:discovery.zen.ping_timeout:判断master选举过程中,发现其他node存活的超时设置,主要影响选举的耗时,参数仅在加入或者选举 master 主节点的时候才起作用discovery.zen.join_timeout:节点确定加入到集群中,向主节点发送加入请求的超时时间,默认为3sdiscovery.zen.minimum_master_nodes:参与master选举的最小节点数,当集群能够被选为master的节点数量小于最小数量时,集群将无法正常选举。

故障检测( fault detection )
两种情况下回进行故障检测,第一种是由master向集群的所有其他节点发起ping,验证节点是否处于活动状态;第二种是:集群每个节点向master发起ping,判断master是否存活,是否需要发起选举。故障检测需要配置以下设置使用 形如: discovery.zen.fd.ping_interval 节点被ping的频率,默认为1s。 discovery.zen.fd.ping_timeout 等待ping响应的时间,默认为 30s,运行的集群中,master 检测所有节点,以及节点检测 master 是否正常。discovery.zen.fd.ping_retries ping失败/超时多少导致节点被视为失败,默认为3。

elastic.co/guide/en/ela
队列数量
不建议盲目加大es的队列数量,如果是偶发的因为数据突增,导致队列阻塞,加大队列size可以使用内存来缓存数据,如果是持续性的数据阻塞在队列,加大队列size除了加大内存占用,并不能有效提高数据写入速率,反而可能加大es宕机时候,在内存中可能丢失的上数据量。哪些情况下,加大队列size呢?GET /_cat/thread_pool,观察api中返回的queue和rejected,如果确实存在队列拒绝或者是持续的queue,可以酌情调整队列size。

elastic.co/guide/en/ela
内存使用
设置indices的内存熔断相关参数,根据实际情况进行调整,防止写入或查询压力过高导致OOM,indices.breaker.total.limit: 50%,集群级别的断路器,默认为jvm堆的70%;indices.breaker.request.limit: 1

Elasticsearch 是一个高性能的分布式搜索引擎,但是在处理大量数据时,可能会出现性能瓶颈。以下是一些 Elasticsearch 性能优化的建议: 1. 确保 Elasticsearch 集群的硬件资源充足。例如,CPU、内存、磁盘空间等。可以使用 Elasticsearch 的监控工具来监测集群资源的使用情况,以便及时进行扩容。 2. 对于大型数据集,使用分片可以提高 Elasticsearch 的性能。可以考虑增加分片数量,以提高搜索和写入的速度。 3. 使用合适的索引设置,例如合理的分词器和分析器,可以提高搜索效率。 4. 避免使用过多的查询,因为每个查询都会占用系统资源。可以使用缓存技术来优化查询性能。 5. 合理设置 Elasticsearch 的 JVM 堆内存大小,以确保 Elasticsearch 有足够的内存来处理数据。 6. 使用 Elasticsearch 的缓存机制,例如字段数据缓存、过滤器缓存等,可以显著提高搜索性能。 7. 对于写入频繁的场景,可以考虑使用异步写入方式,避免写入操作对搜索性能产生影响。 8. 对于长时间运行的查询,可以考虑使用 Elasticsearch 的 scroll API,以避免在内存中保留大量数据。 9. 定期清理 Elasticsearch 中的过期数据,以减少硬盘空间占用和搜索性能受到的影响。 10. 使用 Elasticsearch 的监控工具来监控集群性能,并及时处理异常情况,以保证 Elasticsearch 的高可用性和高性能。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值