日志平台-ES架构设计

remote cluster

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-remote-clusters.html

冷热架构（等机器资源申请到位的时候）

https://www.elastic.co/cn/blog/implementing-hot-warm-cold-in-elasticsearch-with-index-lifecycle-management

ES Client Node

什么鬼?

• node.data: false

• 处理index和bulk request

• 处理查询请求、负责结果汇总

为何独立出来？

• 避免和data node争用资源

• 故障时容易定位故障点

• 我们生产环境client node同时也作为master node

⽇志增量	索引推荐个数	保存天数	ES集群配置
10G	1天1~2个	5天~10天	3台4c8g 200G~500G
100G	1天10个~20个	5天~10天	master/data分离 master：2c4g data：5台8c 16g 1T~2T
500G	1天30~40个	5天~10天	Hot-Warm Hot：5台16c 32g 4T Warm：4C 16G 4T

拆分完了之后，需要路由正确的kibana