Elasticsearch 索引模板、生命周期策略、节点角色(1)，8年大数据开发开发教你如何写简历

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

删除阶段

配置冷阶段365天后删除索引。

关联索引模板

集群角色

node.roles: [ data, master ]
# 配置文件示例

主节点（Master-eligible node）

• 主节点的核心用途：集群层面的管理，例如创建或删除索引、跟踪哪些节点是集群的一部分，以及决定将哪些分片分配给哪些节点。主节点的path.data 用于存储集群元数据信息，不可缺少。
• 主节点的重要性：拥有稳定的主节点对于集群健康非常重要。

和早期版本不同，节点角色划分后，主节点又被细分为：候选主节点和仅投票主节点。

• 主节点存储数据：集群中每个索引的索引元数据，集群层面的元数据。

专用候选主节点（Dedicated master-eligible node）

如果集群规模大、节点多之后，有必要独立设置专用候选主节点。

专用候选主节点配置：

node.roles: [ master ]

仅投票主节点（Voting-only master-eligible node）

用途：仅投票，不会被选为主节点。

硬件配置可以较专用候选主节点低一些。

仅投票主节点配置：

node.roles: [ master, voting_only ]

注意：master 在集群中必不可少。

关于集群主节点配置，要强调说明如下：

• 高可用性 (HA) 集群需要至少三个符合主节点资格的节点；其中至少两个不是仅投票节点。
• 即使其中一个节点发生故障，这样的集群也将能够选举一个主节点。

数据节点（Data node）

数据节点用途：数据落地存储、数据增、删、改、查、搜索、聚合操作等处理操作。

数据节点硬件配置：CPU 要求高、内存要求高、磁盘要求高。

专属数据节点好处：主节点和数据节点分离，各司其职。

数据节点存储内容：

• 分片数据。
• 每个分片对应的元数据。
• 集群层面的元数据，如：setting 和 索引模板。

拥有专用数据节点的主要好处是主角色和数据角色的分离。

数据节点的配置：

node.roles: [ data ]

用途：运行转换并处理转换 API 请求。这块，咱们之前文章没有涉及。

在 Elastic 多层（tires）冷热集群架构体系下，数据节点又可以细分为：

• 内容数据节点（Content data node）
• 热数据节点（Hot data node）
• 温数据节点（Warm data node）
• 冷数据节点（Cold data node）
• 冷冻数据节点（Frozen data node）

内容数据节点

用途：处理写入和查询负载，具有较长的数据保留要求。

建议至少设置一个副本，以保证数据的高可用。

不属于数据流的系统索引或其他索引会自动分配到内容数据节点。

node.roles: [ data_content ]

热数据节点

用途：保存最近、最常访问的时序数据。

推荐使用：SSD 磁盘，至少设置一个副本。

node.roles: [ data_hot ]

****

温数据节点

用途：保存访问频次低且很少更新的时序数据。

node.roles: [ data_warm ]

冷数据节点

用途：保存不经常访问且通常不更新的时序数据。可存储可搜索快照。

node.roles: [ data_cold ]

冷冻数据节点

用途：保存很少访问且从不更新的时序数据。

node.roles: [ data_frozen ]

在冷热集群架构时序数据 ILM 索引生命周期管理的实战演练环节，验证发现：

在配置节点角色时，data_hot、data_warm、data_cold 要和 data_content 要一起配置。且 data_hot、data_warm、data_cold 不要和原有的data 节点一起配置了。

如果仅data_hot 不设置 data_content 会导致集群数据写入后无法落地。

我的理解：data_hot, data_warm, data_cold 是标识性的节点，实际落地存储还得靠 data_content 角色。

数据预处理节点（ingest node）

用途：执行由预处理管道组成的预处理任务。

关于啥是数据的预处理？之前有多篇文章解读过：

Elasticsearch 预处理没有奇技淫巧，请先用好这一招！

Elasticsearch的ETL利器——Ingest节点

node.roles: [ ingest ]

仅协调节点（Coordinating only node）

用途：类似智能负载均衡器，负责：路由分发请求、聚集搜索或聚合结果。

注意事项：在一个集群中添加太多的仅协调节点会增加整个集群的负担，因为当选的主节点必须等待来自每个节点的集群状态更新的确认。

node.roles: [ ]

# 空配置

空即是“色”，不对，这里空即是“仅协调节点”。

远程节点（Remote-eligible node）

用途：跨集群检索或跨集群复制。

node.roles: [ remote_cluster_client ]

3.6 机器学习节点（Machine learning node）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

3.6 机器学习节点（Machine learning node）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-HBxsglLk-1713281449357)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！