Elasticsearch运维经验总结

本文总结了Elasticsearch的运维经验,包括版本匹配、高可用配置、集群健康状态监控、索引管理和故障恢复策略。强调了避免虚拟内存使用、设置合理的副本数量、防止索引误删、集群节点角色分配等要点,并提供了各种操作命令示例。此外,还涉及了数据备份、Kibana调优、插件推荐、数据写入策略以及应对UNASSIGNED shards的方法。
摘要由CSDN通过智能技术生成

版本说明:5.6.4(要严格注意ES及其插件、第三方工具的版本匹配关系)

系统负载:(日志集群,日均写入10TB,保留7天)

1,出于高可用的考虑,同一个分区的多个副本不会被分配到同一台机器

如下截图所示,Index:queries,设置20副本,5分片。这个集群当前有14个可用数据节点,queries的0分区在这14个数据节点上均有且仅有一个副本,剩余​​的7个副本显示UNASSIGNED,并不会在当前14个节点上重复分配

2,Local Gateway参数生效顺序(仅在重启master时生效)

  • gateway:expected_nodes,只要达到该值,立即可以进入恢复状态,假如有恢复必要的话
  • gateway:recover_after_time,如果未达到expected_nodes值,则需要等待recover_after_time时长,不管你当前有多少个nodes了
  • gateway:recover_after_nodes,在达到recover_after_time的时间后,还需要达到recover_after_nodes的设置值,才能进入恢复状态

3,避免所有索引被删除

  • action.destructive_requires_name:true,通过该参数禁止通过正则进行index的删除操作
  • curl -XDELETE http://localhost:9200/*/

4,避免使用虚拟内存(三选一)

  • 最佳方式:关闭操作系统的swap分区(swapoff -a)
  • 次选:vm.swappiness=0(仅在物理内存不够时才使用swap分区)
  • 最后:bootstrap.memory_lock: true

5,集群各类角色

  • node.master(显示)
  • node.data(显示)
  • node.ingest(显示)
  • node.coordinatint(隐性)
  • Every node is implicitly a coordinating node. This means that a node that has all three node.masternode.data and node.ingest set to false will only act as a coordinating node, which cannot be disabled.

6,master数量至少3个,避免脑裂

  • discovery.zen.minimum_master_nodes: 2

7,

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值