Elasticsearch集群规划及性能优化实践（笔记）

ES集群容量及索引规划

1 集群规模评估

• 评估什么

  • 计算资源的CPU和内存
  • 存储资源的类型及容量
  • 节点数量

• 根据什么评估

  • 业务场景：日志分析、指标监控、网站搜索
  • 查询及写入QPS
  • 索引数据总量

• 集群规模评估准则

  • 32C64G单节点配置通常可承载5W次/s的写入；
  • 写入量和数据量较大时，优先选择32C64G的节点配置；
  • 1T的数据量预计需消耗2-4GB的内存空间；
  • 实际存储空间通常为原始数据量2.8倍（1副本）
  • 搜索场景优先选择大内存节点配置

2 索引配置评估

• 评估什么

  • 怎么划分索引
  • 索引的分片数如何设置

• 根据什么评估

  • 业务场景：日志分析、指标监控、网站搜索
  • 单日新增的数据量

• 索引配置评估准则：

  • 单个分片大小控制在30-50GB
  • 集群总分片数量控制在3w以内
  • 1GB的内存空间支持20-30个分片为佳
  • 一个节点建议不超过1000个分片
  • 索引分片数量建议和节点数量保持一致
  • 集群规模较大时建议设置专用主节点
  • 专用主节点配置建议在8C16G以上
  • 如果是时序数据，建议结合ILM索引生命周期管理