ELK中索引生命周期ilm和滚动rollover的应用

已于 2023-07-17 14:57:00 修改
阅读量808 收藏 6
点赞数 1
分类专栏： 中间件 文章标签： elk
于 2023-07-16 20:31:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangchaodee/article/details/131753564
版权

问题场景

最近在做日志平台项目，项目中会收集很多机器节点的日志，归集后做分析处理。原先的设计是按日志类型及日期来划分索引，索引命名格式如 ： test-job-log-v1-1-2023-07-01 ， 但是有些类型的日志数据量比较多，可能单个索引主副本的数据会超过100g。考虑到大索引对于后续的维护存在故障恢复时间长的风险，且会造成写入期间机器负载不均衡，因此想用更合适的方式来规划索引，使负载更均衡， 应用索引生命周期ilm和滚动rollover方式，可以更好的限制索引大小，处理起来也比较方便，现将详细的使用过程做汇总说明。

索引生命周期设置

ES的索引生命周期分为hot \ warm \ cold \ delete 四个阶段 ，

HOT为必须的阶段外，其他为非必须阶段，可任意选择配置。因为日志索引只需要满足自动删除功能，所以我们一般只需规划日志索引的HOT、Warm和DELETE三个阶段；

HOT阶段
HOT阶段用来写入日志数据和查询日志数据

WARM阶段
WARM阶段用来存储相对的历史日志数据和查询日志数据，可使用手动迁移，或者自动迁移的方式,可缩减副本数 ，强制合并减少segments数量，设为只读索引

COLD阶段
COLD阶段和warm阶段的操作有些类似， 主要适用与查询进一步减少的索引

DELETE阶段
DELETE阶段是用来对日志数据的删除，日志数据满足DELETE阶段的删除条件（如：超过180天的索引数据），即可配置相关策略，手动或者脚本自动进行删除索引数据

调用es接口设置ilm
kibana中索引生命周期设置

rollover策略定义

ES的rollover策略和java应用中日志的rollover方式有一定相似性，java日志中对于日志文件到一定大小后，就进行日志文件的归档，打包压缩，然后将日志输出到新文件中，当前的日志文件名一般保持不变，归档的日志会限制保留的数量 ，比如只保留7个或保留7天的。
由前面kibana中索引HotPhase 的Rollover设置中可以看到可以定义
最大主分片大小 、最大时长、最大文档数量或索引最大大小等来配置rollover方式。

索引模板设置

索引模板设置，其实可以理解对一定格式的索命名称，进行模式上的预定义，可以预先设定一些字段的属性、索引的副本数量、定义一些脚本处理，当然也可以关联索引生命周期策略，便于对索引进行生命周期管理。
调用es接口创建索引模板
kibana中索引模板管理入口
测试期间可以修改ilm的检查时间间隔， 默认是10分钟
修改ilm检查时间

Logstash 中使用

logstash 中的output 模块中可以配置elasticsearch 作为输出， es的配置中可以直接输出到指定的索引中，也可以用动态索引的方式
原先用按日期来划分缩影的方式如下：
在这里插入图片描述
后尝试ilm+rollover方式配置如下：
logstash中使用ilm

此时启动logstash 会有rollover alias调用
在这里插入图片描述

ES 中索引效果

在这里插入图片描述

以上就是本次在ELK中应用索引生命周期ilm和滚动rollover的过程和效果

参考文档

Logstash：为 Logstash 日志启动索引生命周期管理_ilm_rollover_alias

Rollover API | Elasticsearch Guide [7.17] | Elastic

 汪超
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK 索引生命周期管理（转）
隔壁老瓦的专栏
06-01 2094
kibana 索引配置 管理索引 点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引 (设置，Elasticsearch ,管理) 配置 kibana 的索引匹配 设置，Kibana,索引模式 配置索引生命周期 点击设置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期 配置索引策略文档地址：https://www.elastic.
ELK生命周期
最新发布
万物皆代码
01-09 1263
ELK+kafka<es生命周期可视化配置界面>
elk 马哥linux,ELK 索引生命周期管理
weixin_33851180的博客
05-16 166
ELK 索引生命周期管理前言之前搭建的 ELK 集群经过几天的日志收集，索引数逐渐增多，服务器的各项内存、cpu、IO 指标开始上涨起来，要解决这个问题，在权衡性能与用户使用，应该做好索引的生命周期管理。kibana 索引配置1. 管理索引点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引配置 kibana 的索引匹配配置索引生命周...
ELK日志分析、索引、切片、生命周期等
砚墨
08-17 1245
1.elk的背景介绍与应用场景 在项目应用运行的过程中，往往会产生大量的日志，我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量过大、文本搜索太慢、如何多维度查询。这就需要对服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统往往是一种分布式部署的架构，不同的服务模块部署在不同的服务器
漫谈ELK在大数据运维中的应用
02-26
圈子里关于大数据、云计算相关文章和讨论是越来越多，愈演愈烈。行业内企业也争前恐后，群雄逐鹿。而在大数据时代的运维挑站问题也就日渐突出，任重而道远了。本文旨在针对复杂的大数据运维系统推荐一把利器，达到...
ELK在Spark集群的应用
02-25
大数据处理技术越来越火,云计算平台也如火如荼,二者犹如IT列车的两个车轮,相辅相成,高速发展。...目前，日志分析工具多达数十种，其中应用较多的有Splunk、ELK、AWStats、Graphite、LogAnalyzer、Rsyslo
基于ELKStack和SparkStreaming的日志处理平台设计
02-26
本文通过对ELKStack、Kafka、SparkStreaming整合方案的介绍描述了系统平台日志处理流程，希望对系统运维工程师、数据库工程师在实现数据平台集中式运维工作中有所帮助，读者还可以参考文章末尾给出的互联网公司在...
Elasticsearch索引生命周期管理
小白的技术之路
03-02 1346
es生命周期
ELKStack服务管理
职场里拉开差距的不是知识，而是认知！
10-20 1303
长期运行 完成上一节的初次运行后，你肯定会发现一点：一旦你按下 Ctrl+C，停下标准输入输出，logstash 进程也就随之停止了。作为一个肯定要长期运行的程序，应该怎么处理呢？本章节问题对于一个运维来说应该属于基础知识，鉴于 ELK 用户很多其实不是运维，添加这段内容。办法有很多种，下面介绍四种最常用的办法： 标准的 service 方式 采用 RPM、DEB 发行包安装的读者，推荐
elasticsearch-索引生命周期管理
面朝大海，春暖花开
06-06 868
其中hot阶段主要负责对索引进行滚动更新操作，warm、cold、delete阶段主要负责进一步处理滚动更新后的数据。索引生命周期分为4个阶段：hot、warm、cold、delete。只能覆盖当前索引，新滚动的索引不再受策略影响。将策略应用到整个别名覆盖的索引下。
使用Logstash将Elasticsearch导出为日志文件、使用Logstash向Elasticsearch中导入日志
zy2350555的博客
06-04 2897
使用Logstash将Elasticsearch导出为日志文件、使用Logstash向Elasticsearch中导入日志Logstash的通用配置1 使用Elasticsearch作为输入，File作为输出1.1 input为Elasticsearch1.1.1 概述1.1.2 定时任务1.1.3 可选的配置1.2 output为日志文件1.3 执行数据导出1.4 查看导出的日志2 从日志文件导入到Elasticsearch中2.1 input为日志文件2.1.1 概述2.1.2 跟踪监视文件中的当前位置
elasticsearch 7.9.3知识归纳整理（五）之 es的索引生命周期管理
m0_37635053的博客
01-05 6475
es的索引生命周期管理
elk笔记8--index
脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到
06-21 1602
elk 笔记8--index1. index 创建的几种方式直接创建index按照当前日期创建索引创建带有rollover功能的索引2. 索引的常见设置基本设置常见问题3. 说明 1. index 创建的几种方式 直接创建index 第一种方式最普通，此类index 写入时在logstash中直接指定index01即可； 其缺点是当日志量大的时候，会影响性能。 PUT index01 {} out: { "acknowledged" : true, "shards_acknowledged" : t
【ES实战】索引翻滚 Rollover Index使用说明
coding and writing
12-21 4587
翻滚索引指的就是 对满足特定条件的拥有别名的索引，进行采用旧索引的配置创建新索引，并对将新索引别名下的`is_write_index`设为`true`。
日志平台-统一日志平台ELK管理
阿拉斯加大闸蟹的博客
05-31 4402
ElasticSearch术语概念 ES的集群管理 Index的管理
这么简单的ES索引生命周期管理，不了解一下吗～
Monica2333的博客
04-19 1375
对于日志或指标（metric）类时序性强的ES索引，因为数据量大，并且写入和查询大多都是近期时间内的数据。我们可以采用hot-warm-cold架构将索引数据切分成hot/warm/cold的索引。hot索引负责最新数据的读写，可使用内存存储；warm索引负责较旧数据的读取，可使用内存或SSD存储；cold索引很少被读取，可使用大容量磁盘存储。随着时间的推移，数据不断从hot索引->war...
Elasticsearch生命周期策略ilm_policy、索引模板template管理（一）
WoAiShuiGeGe的博客
07-02 5910
一、生命周期策略管理 可以PUT命令创建，也可以在kibana中创建（推荐） PUT创建方式 //设定生命周期 PUT /_ilm/policy/article_ilm_policy（自定义生命周期名称） { "policy":{ "phases":{ "hot":{ "actions":{ "rollover":{ "max...
elk 8 个索引已 生命周期错误
06-07
这个错误通常是由于 Elasticsearch 索引的生命周期策略导致的。在 Elasticsearch 中，可以使用 Index Lifecycle Management (ILM) 功能来管理索引的生命周期。ILM 可以自动管理索引的转换和删除，以确保不需要的数据被清理出 Elasticsearch 集群。 在 ELK Stack 8.x 版本中，ILM 是默认启用的。如果你遇到了 "8 个索引已 生命周期错误" 这个问题，可能是因为 Elasticsearch 中已经存在某些不再需要的索引，但由于 ILM 策略的原因，它们没有被自动删除。 要解决这个问题，可以手动删除不再需要的索引，或者重新配置 ILM 策略以更好地适应你的需求。以下是一些可能有用的命令和步骤： 1. 查看当前的索引列表： ``` GET /_cat/indices?v&s=index ``` 2. 确认哪些索引已经过期或不再需要。 3. 手动删除这些索引： ``` DELETE /<index_name> ``` 4. 或者重新配置 ILM 策略以更好地管理索引的生命周期。例如，你可以使用下面的 API 创建一个策略： ``` PUT _ilm/policy/my_policy { "policy": { "phases": { "hot": { "actions": { "rollover": { "max_size": "50GB" } } }, "delete": { "min_age": "90d", "actions": { "delete": {} } } } } } ``` 以上策略将为索引设置最大大小为 50GB，并在索引年龄超过 90 天时删除它们。你可以根据需要自定义此策略。然后，将该策略应用到需要管理的索引上： ``` PUT /<index_name>/_settings { "index.lifecycle.name": "my_policy" } ``` 以上命令将索引绑定到名为 "my_policy" 的策略上。之后，ILM 将根据该策略自动管理索引的生命周期。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值