ES数据冷热分层

前言

数据的价值是有实效性的，一般实时性越高的信息，参考价值越大。
所以数据在对外提供服务的时候，也不是等价的，比如最近3个月的交易记录，用户会查询的比较频繁，那么应该存放在读写性能比较好的节点上。而3年前的交易记录，可以存放在读写性能一般的节点上。

ES中的索引生命周期管理ILM机制可以帮助我们轻松实现数据的冷热分层。

---

一、创建生命周期管理策略

说明：创建名为my-lifecycle-policy的索引生命周期策略。
该策略定义了索引生命周期的5个阶段，hot->warm->cold->frozen->delete。
（注意并不是所有的策略都要包含这5个阶段，这里主要是为了介绍数据冷热分层。）

hot阶段：

• min_age属性没有配置，默认值为0ms，也就是数据添加后立刻进去hot阶段。
• actions配置索引数据进入hot阶段触发的行为
• rollover配置索引滚动的条件，主分片体积达到50gb触发索引滚动。

warm阶段：

• min_age属性值为30d，表示当发送滚动30天后，索引数据进入warm阶段。
• actions配置索引数据进入hot阶段触发的行为
• shrink 压缩分片数量
• forcemerge 合并段segments数量

cold阶段：

• min_age属性值为60d，表示当索引数据进入warm阶段后60天会进入cold阶段。
• actions配置索引数据进入hot阶段触发的行为
• searchable_snapshot 生成可搜索快照

frozen阶段：

• min_age属性值为90d，表示当索引数据进入cold阶段后90天后会进入frozen阶段。
• actions配置索引数据进入hot阶段触发的行为
• searchable_snapshot 生成可搜索快照

delete阶段：

• min_age属性值为735d，表示当索引数据进入frozen阶段后735天后会进入delete阶段。
• actions配置索引数据进入hot阶段触发的行为
• delete 删除索引

PUT _ilm/policy/my-lifecycle-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_primary_shard_size": "50gb"
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "shrink": {
            "number_of_shards": 1
          },
          "forcemerge": {
            "max_num_segments": 1
          }
        }
      },
      "cold": {
        "min_age": "60d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "frozen": {
        "min_age": "90d",
        "actions": {
          "searchable_snapshot": {
            "snapshot_repository": "found-snapshots"
          }
        }
      },
      "delete": {
        "min_age": "735d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

二、创建内容模板

1、创建mappings内容模板
主要是为了声明索引中的字段名和数据类型，如果是为数据流声明的内容模板，则必须含有@timestamp字段。

PUT _component_template/my-mappings
{
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date",
          "format": "date_optional_time||epoch_millis"
        },
        "message": {
          "type": "wildcard"
        }
      }
    }
  },
  "_meta": {
    "description": "Mappings for @timestamp and message fields",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

2、创建settings内容模板
说明：
核心是在settings中指定索引生命周期名称index.lifecycle.name。

PUT _component_template/my-settings
{
  "template": {
    "settings": {
      "index.lifecycle.name": "my-lifecycle-policy"
    }
  },
  "_meta": {
    "description": "Settings for ILM",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

三、创建索引模板

通过内容模板创建索引模板。

PUT _index_template/my-index-template
{
  "index_patterns": ["my-data-stream*"],
  "data_stream": { },
  "composed_of": [ "my-mappings", "my-settings" ],
  "priority": 500,
  "_meta": {
    "description": "Template for my time series data",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

参数说明：
index_patterns 指定匹配的索引模式，即如果索引名称和index_patterns中的配置项匹配，则将该模板属性运用到索引中。
data_stream 声明是数据流。
composed_of 有哪些内容组成，配置内容模板component_template。
priority 优先级
_meta 原数据信息，用户自己配置的额外属性。

也可以不使用内容模板，直接通过template属性配置索引模板：

PUT _index_template/my-index-template
{
  "index_patterns": ["my-data-stream*"],
  "data_stream": { },
  "template": {
    "settings": {
      "index.lifecycle.name": "my-lifecycle-policy"
    },
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date",
          "format": "date_optional_time||epoch_millis"
        },
        "message": {
          "type": "wildcard"
        }
      }
    }
  },
  "priority": 500,
  "_meta": {
    "description": "Template for my time series data",
    "my-custom-meta-field": "More arbitrary metadata"
  }
}

四、创建数据流

方式一：创建数据流，并批量添加数据

PUT my-data-stream/_bulk
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:21:15.000Z", "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736" }
{ "create":{ } }
{ "@timestamp": "2099-05-06T16:25:42.000Z", "message": "192.0.2.255 - - [06/May/2099:16:25:42 +0000] \"GET /favicon.ico HTTP/1.0\" 200 3638" }

方式二：创建数据流，并添加单条数据

POST my-data-stream/_doc
{
  "@timestamp": "2099-05-06T16:21:15.000Z",
  "message": "192.0.2.42 - - [06/May/2099:16:21:15 +0000] \"GET /images/bg.jpg HTTP/1.0\" 200 24736"
}

方式三：仅创建数据流，不添加数据

PUT _data_stream/my-data-stream

注意⚠️：
1、添加的数据中必须含有@timestamp字段信息
2、创建的数据流名称必须和声明的索引模板中的索引模式index_patterns相匹配。

五、查看数据流信息

GET _data_stream/my-data-stream

六、删除数据流

DELETE _data_stream/my-data-stream

七、查看数据流生命周期状态

检索生命周期的进度
要获取托管索引的状态信息，可以使用 ILM 解释 API:

• 索引处于什么阶段以及何时进入这个阶段
• 当前操作和正在执行的步骤
• 如果发生任何错误或进度被阻塞

GET .ds-my-data-stream-*/_ilm/explain

八、冷热分层的前提条件

首先需要有一个具有冷热数据层的ES集群。

Elastic Stack云端配置：
如果采用的Elastic Stack服务，默认会有一个Hot层，其他数据层需要自己添加配置。Add capacity

如果是自维护的ES集群，需要在安装ES集群的时候，在elasticsearch.yml 文件中通过配置节点角色配置数据层。

node.roles: [ data_warm ]

只有具备了相应的数据层，那么索引才会在生命周期发送变化时转移到相应的数据层中。

---

总结

本文主要介绍了如果通过索引生命周期管理ILM机制实现数据的冷热分层。