两台物理机(40core,128G内存, 1T ssd, 1T*3 hdd),每台机器同时部署一个hot node和cold node,共4个node。hot node使用ssd作为存储介质,分配32G内存,接收实时日志。cold node使用hdd盘作为存储介质,分配16G内存,存储历史日志(只读不写)。每日固定时间进行热->冷迁移。
节点级别配置
在 hot 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加
node.tag: hot
在 cold 组的两个节点的 elasticsearch.yml 配置文件 Node 配置段中增加
node.tag: cold
索引级别配置
为了让新建的的索引自动分配到 hot 节点,在 template 中增加索引的分配规则,如所有 logstash* 的索引匹配的模板叫 logstash ,在 logstash 模板下增加:
PUT /_template/logstash
{
"order": 0,
"template": "logstash*",
"settings": {
"index.routing.allocation.include.tag": "hot