elasticsearch 实现只保留固定时间的数据

最新推荐文章于 2024-08-22 22:48:15 发布

Amos_x

最新推荐文章于 2024-08-22 22:48:15 发布

阅读量1.7w

点赞数 6

分类专栏： Centos7系列文章标签： curator elasticsearch delete_by_query

本文链接：https://blog.csdn.net/weixin_41004350/article/details/85620572

版权

本文介绍了如何在ELK堆栈中管理Elasticsearch数据，特别是如何只保留日志数据7天。文章详细阐述了两种方法：1) 使用Elasticsearch API的delete_by_query接口直接删除旧数据；2) 利用官方工具Curator进行索引管理。对于带有时间戳的索引，推荐使用Curator，而对于非时间戳命名的索引，建议使用API删除。同时，提供了Python脚本示例和Curator的配置及使用指南，并提到如何通过cron任务实现定期执行。

摘要由CSDN通过智能技术生成

elk为常见的日志分析平台，在很多公司都用使用，但是日志数据是一个不断海量增加的东西，如果没有太大的存储来存储这些日志历史数据，就会需要删除时间过长的历史数据，以保证数据量可控。还不知道elk的，可以参考我另外的elk安装博文：

《Centos7.2 搭建ELK-5.6.4日志分析平台（一）》

《Centos7.2 搭建ELK-5.6.4日志分析平台（二）》

《centos7 Supervisor的安装与配置，管理elk进程。》

elk中elasticsearch为搜索引擎，也是数据的储存单元。要想实现只保留固定时间的数据，这里以7天为例，要想每个索引的数据都只保留最近7天的数据，大于7天的则删除，有两种方法：

1. 看你的索引是怎么样的，如果你的索引名称中有时间，比如logstash-2019-01-02 这样，就是每天都会生成一个新的索引，这样的话可以使用官方的Curator 工具

2. 如果你的索引中不带时间，比如，如果是根据应用或者服务名来命名的，那么注意，Curator是无法实现删除索中的某一段数据的！！这里需要特别注意，网上很多说可以实现的，那是因为他们的索引如上面1 所说，是根据时间日期来生成的。但实际上，很多索引都不是这样的，按正常的思维，更容易用服务名或应用名作为索引，以此来区分日志所属应用，方便日志的分析对应指定的应用。这种时候需要使用elasticsearch的api：delete_by_query来进行删除指定数据。这种方法也是通用的，更推荐用这种方法

这里两种方法都详细说明。