ELK中索引生命周期ilm和滚动rollover的应用

已于 2023-07-17 14:57:00 修改
阅读量1.7k 收藏 19
点赞数 7
分类专栏： 中间件 文章标签： elk
于 2023-07-16 20:31:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangchaodee/article/details/131753564
版权

问题场景

最近在做日志平台项目，项目中会收集很多机器节点的日志，归集后做分析处理。原先的设计是按日志类型及日期来划分索引，索引命名格式如 ： test-job-log-v1-1-2023-07-01 ， 但是有些类型的日志数据量比较多，可能单个索引主副本的数据会超过100g。考虑到大索引对于后续的维护存在故障恢复时间长的风险，且会造成写入期间机器负载不均衡，因此想用更合适的方式来规划索引，使负载更均衡， 应用索引生命周期ilm和滚动rollover方式，可以更好的限制索引大小，处理起来也比较方便，现将详细的使用过程做汇总说明。

索引生命周期设置

ES的索引生命周期分为hot \ warm \ cold \ delete 四个阶段 ，

HOT为必须的阶段外，其他为非必须阶段，可任意选择配置。因为日志索引只需要满足自动删除功能，所以我们一般只需规划日志索引的HOT、Warm和DELETE三个阶段；

HOT阶段
HOT阶段用来写入日志数据和查询日志数据

WARM阶段
WARM阶段用来存储相对的历史日志数据和查询日志数据，可使用手动迁移，或者自动迁移的方式,可缩减副本数 ，强制合并减少segments数量，设为只读索引

COLD阶段
COLD阶段和warm阶段的操作有些类似， 主要适用与查询进一步减少的索引

DELETE阶段
DELETE阶段是用来对日志数据的删除，日志数据满足DELETE阶段的删除条件（如：超过180天的索引数据），即可配置相关策略，手动或者脚本自动进行删除索引数据

调用es接口设置ilm
kibana中索引生命周期设置

rollover策略定义

ES的rollover策略和java应用中日志的rollover方式有一定相似性，java日志中对于日志文件到一定大小后，就进行日志文件的归档，打包压缩，然后将日志输出到新文件中，当前的日志文件名一般保持不变，归档的日志会限制保留的数量 ，比如只保留7个或保留7天的。
由前面kibana中索引HotPhase 的Rollover设置中可以看到可以定义
最大主分片大小 、最大时长、最大文档数量或索引最大大小等来配置rollover方式。

索引模板设置

索引模板设置，其实可以理解对一定格式的索命名称，进行模式上的预定义，可以预先设定一些字段的属性、索引的副本数量、定义一些脚本处理，当然也可以关联索引生命周期策略，便于对索引进行生命周期管理。
调用es接口创建索引模板
kibana中索引模板管理入口
测试期间可以修改ilm的检查时间间隔， 默认是10分钟
修改ilm检查时间

Logstash 中使用

logstash 中的output 模块中可以配置elasticsearch 作为输出， es的配置中可以直接输出到指定的索引中，也可以用动态索引的方式
原先用按日期来划分缩影的方式如下：
在这里插入图片描述
后尝试ilm+rollover方式配置如下：
logstash中使用ilm

此时启动logstash 会有rollover alias调用
在这里插入图片描述

ES 中索引效果

在这里插入图片描述

以上就是本次在ELK中应用索引生命周期ilm和滚动rollover的过程和效果

参考文档

Logstash：为 Logstash 日志启动索引生命周期管理_ilm_rollover_alias

Rollover API | Elasticsearch Guide [7.17] | Elastic

ELK索引生命周期管理编程
CyberFlare的博客
08-15 271
最后，在冷阶段，当索引达到30天时，我们会冻结索引、将索引设置为只读，并进行缩减操作以减少分片数量。索引生命周期管理是一种自动化管理索引的方法，它可以根据索引的年龄、大小或其他指标来决定索引的存储和删除。ELK的强大功能使得它成为处理大规模数据和日志的理想选择，在实际应用中，根据具体场景和需求调整ILM策略非常重要，以便最大程度地发挥ELK的优势。通过以上配置和代码，我们可以实现ELK索引的生命周期管理。通过索引模板和Logstash配置，我们可以自动应用ILM策略，并保证索引数据的合理存储和删除。
ELK 索引生命周期管理（转）
隔壁老瓦的专栏
06-01 2216
kibana 索引配置 管理索引 点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引 (设置，Elasticsearch ,管理) 配置 kibana 的索引匹配 设置，Kibana,索引模式 配置索引生命周期 点击设置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期 配置索引策略文档地址：https://www.elastic.
ELK生命周期
万物皆代码
01-09 1583
ELK+kafka<es生命周期可视化配置界面>
架构师之Elasticsearch+Logstash+Kibana集成
最新发布
分享技术应用、实践场景等，评论区开放技术难题讨论，共同成长进步。
03-29 1035
总结了一下‌ELK的集成应用，主要功能应用，应用场景、相关配置等，形成了一个总结报告，一是为了指导新手从哪些方面入手，另外是为相关技术人员加深理解，在使用中提供帮助。希望能给大家带来帮助。
elk 马哥linux,ELK 索引生命周期管理
weixin_42396058的博客
05-16 521
ELK 索引生命周期管理前言之前搭建的 ELK 集群经过几天的日志收集，索引数逐渐增多，服务器的各项内存、cpu、IO 指标开始上涨起来，要解决这个问题，在权衡性能与用户使用，应该做好索引的生命周期管理。kibana 索引配置1. 管理索引点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引配置 kibana 的索引匹配配置索引生命周...
ES系列-- ILM索引生命周期管理
soso的博客
01-22 5483
前言 官方文档地址7.8版本 正文 ILM定义了四个生命周期阶段： Hot：正在积极地更新和查询索引。 Warm：不再更新索引，但仍在查询。 cold：不再更新索引，很少查询。信息仍然需要可搜索，但是如果这些查询速度较慢也可以。 Delete：不再需要该索引，可以安全地将其删除。 ILM定期运行（indices.lifecycle.poll_interval），默认是10分钟，检查索引是否符合策略标准，并执行所需的任何步骤。 为了避免争用情况，ILM可能需要运行多次以执行完成一项动作所需的所有步骤。所以，即
37.索引生命周期管理—kibana 索引配置
大勇若怯任卷舒
06-16 2358
36.3 容量规划案例2 基于时间序列的数据 相关的用案 日志 / 指标 / 安全相关的 Events 舆情分析 特性 每条数据都有时间戳；文档基本不会被更新（日志和指标数据） 用户更多的会查询近期的数据；对旧的数据查询相对较少 对数据的写入性能要求比较高 36.4 创建基于时间序列的索引 创建 time-based 索引 在索引的名字中增加时间信息 按照 每天 / 每周 / 每月 的方式进行划分 好处 更加合理的组织索引，例如随着时间推移，便于对索引做的老化处理 利用 Ho
elk 8 个索引已 生命周期错误
06-07
在 Elasticsearch 中，可以使用 Index Lifecycle Management (ILM) 功能来管理索引的生命周期。ILM 可以自动管理索引的转换和删除，以确保不需要的数据被清理出 Elasticsearch 集群。 在 ELK Stack 8.x 版本中，ILM...
38.索引生命周期管理—查询当前的模板
大勇若怯任卷舒
06-28 453
36.3 容量规划案例2 基于时间序列的数据 相关的用案 日志 / 指标 / 安全相关的 Events 舆情分析 特性 每条数据都有时间戳；文档基本不会被更新（日志和指标数据） 用户更多的会查询近期的数据；对旧的数据查询相对较少 对数据的写入性能要求比较高 36.4 创建基于时间序列的索引 创建 time-based 索引 在索引的名字中增加时间信息 按照 每天 / 每周 / 每月 的方式进行划分 好处 更加合理的组织索引，例如随着时间推移，便于对索引做的老化处理 利用 Ho
ELK日志分析、索引、切片、生命周期等
砚墨
08-17 1362
1.elk的背景介绍与应用场景 在项目应用运行的过程中，往往会产生大量的日志，我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量过大、文本搜索太慢、如何多维度查询。这就需要对服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统往往是一种分布式部署的架构，不同的服务模块部署在不同的服务器
Elasticsearch索引生命周期管理
小白的技术之路
03-02 1471
es生命周期
elasticsearch 索引_Elasticsearch索引生命周期策略实践
weixin_39628271的博客
11-30 956
主题介绍在ELK中，我们会存储大量的监控数据和日志数据，这需要我们定期对数据进行清除，如只保存一个月内的日志数据，过期的数据我们进行删除。我们使用elasticsearch提供的索引生命周期策略来对数据进行定期管理。遇到的问题与困惑我打算通过ELK 6.8 来搜集监控数据，我启动了Kibana和Elasticsearch以及filebeat和metricbeat，在使用了两天后，发现测试机的磁盘快...
ELK配置索引清理策略
weixin_66855479的博客
11-24 994
在ELFK（Elasticsearch, Logstash,Filebeat, Kibana）堆栈中配置索引清理策略是一个常见的需求，因为日志数据会随着时间的推移而积累，占用大量的存储空间。以下是一些配置索引清理策略的方法
ELKStack服务管理
职场里拉开差距的不是知识，而是认知！
10-20 1354
长期运行 完成上一节的初次运行后，你肯定会发现一点：一旦你按下 Ctrl+C，停下标准输入输出，logstash 进程也就随之停止了。作为一个肯定要长期运行的程序，应该怎么处理呢？本章节问题对于一个运维来说应该属于基础知识，鉴于 ELK 用户很多其实不是运维，添加这段内容。办法有很多种，下面介绍四种最常用的办法： 标准的 service 方式 采用 RPM、DEB 发行包安装的读者，推荐
【Elasticsearch】自定义内置的索引生命周期管理（ILM）策略。
risc123456的博客
03-03 504
Elasticsearch 提供了内置的索引生命周期管理（ILM）策略，例如`logs@lifecycle`、`metrics@lifecycle`和`synthetics@lifecycle`。• 在“编辑策略日志（Edit policy logs）”页面上，切换“另存为新策略（Save as new policy）”，并为新策略命名，例如`logs-custom`。这有助于释放已删除文档占用的空间。默认的`logs@lifecycle`策略会自动管理`logs-*-*`数据流的后端索引。
Elasticsearch中的索引滚动（Rollover）：优化大数据处理
ByteHackerX的博客
08-29 957
它通过定期创建新的索引并将数据迁移到这些新索引中，实现了更好的性能和可扩展性。你可以根据自己的需求进行进一步的配置和优化，以最大程度地发挥索引程度地发挥索引滚动的优势。索引滚动是一种将数据从旧的索引转移到新的索引的过程。索引滚动通过创建新的索引并将数据定期迁移到这些新索引中，可有效解决这个问题。然后，定义了索引滚动的配置参数，包括最大存活时间和最大文档数。接下来，我们创建了一个初始索引，并将其设置为可写入的索引别名。需要注意的是，这只是一个简单的示例，你可以根据自己的需求进行更复杂的配置和操作。
ES ILM滚动策略使用踩坑优化
liang183691的博客
09-12 400
日志集群使用索引模板和策略不合理，每天一类索引创建一个模板，然后滚动生成索引，索引数量数千个，存在大量空索引，由于业务对写入逻辑不清晰，反馈空索引是由于当天没数据产生，无法做出有效优化，故只能从ES层面做分析和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值