Elasticsearch集群冷热分离-实际操作

最新推荐文章于 2024-08-01 16:52:24 发布

笑天居士

最新推荐文章于 2024-08-01 16:52:24 发布

阅读量6.5k

点赞数 2

分类专栏： Elasticsearch 文章标签： elasticsearch

本文链接：https://blog.csdn.net/jiao_fuyou/article/details/78354327

版权

本文介绍了在一个双节点Elasticsearch集群中如何实现冷热数据分离。每个节点同时运行hot和cold节点，hot节点使用SSD存储实时日志，而cold节点使用HDD存储历史日志。通过节点级别的配置区分hot和cold节点，并利用索引模板确保新索引分配到hot节点。此外，使用Curator定时任务将40天及更久的索引转移到cold节点，以优化资源利用。

摘要由CSDN通过智能技术生成

两台物理机（40core，128G内存, 1T ssd, 1T*3 hdd），每台机器同时部署一个hot node和cold node，共4个node。hot node使用ssd作为存储介质，分配32G内存，接收实时日志。cold node使用hdd盘作为存储介质，分配16G内存，存储历史日志（只读不写）。每日固定时间进行热->冷迁移。

节点级别配置

在 hot 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加

node.tag: hot

在 cold 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加

node.tag: cold

索引级别配置

为了让新建的的索引自动分配到 hot 节点，在 template 中增加索引的分配规则，如所有 logstash* 的索引匹配的模板叫 logstash ，在 logstash 模板下增加：

PUT /_template/logstash
{
        "order": 0,
        "template": "logstash*",
        "settings": {
            "index.routing.allocation.include.tag": "hot