清理Elasticsearch中过期的日志索引

最新推荐文章于 2024-07-26 09:46:54 发布
最新推荐文章于 2024-07-26 09:46:54 发布
阅读量4.7k 收藏 1
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch 索引
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiPanGeng/article/details/72910421
版权

使用命令

主要使用$(date -d ‘-10days’ +’%Y.%m.%d’)对日志进行格式化，从而拼出需要删除的日志索引名字。

curl -XDELETE http://172.16.21.101:9200/*-$(date -d '-10days' +'%Y.%m.%d')
李盼庚
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Nodejs实现自动清理elasticsearch过期索引(日志清理)--学习笔记
蜗牛水里爬
02-17 4019
2018-08-16更新 修正支持5.X全系 最新6.X 版本自动清除索引 增加权限验证。     本人是C#开发者，写起Nodejs估计还保留着浓浓的C#风格吧。 elasticsearch简单说一下，索引一般推荐以日期为单位。没啥原因大家的经验而已。 elasticsearch相关资料：https://www.elastic.co/guide/en/elasticsearch/cli...
Elasticsearch清理历史索引笔记
独行侠梦的博客
04-30 1873
前言 es用作海量数据和存储和检索，对于较大日志数据，如果全部存储在一个索引中， 像数据库表一样，久而久之，检索查询会越来越慢，服务器压力也大。无论是按天分索引、还是按月份索引，一般建立索引的时候都带上时间。 很明确的说，已经超过一定期限的索引，应该是不会再写入新数据了，可以强制进行合并压缩，设置只读等。 对于搜索来说，合并的分片越少，查询和排序越快（想象一下深度分页。。。） 我们的文档存储在分...
Nodejs实现自动清理elasticsearch过期索引(日志清理)
02-17
该篇文章源码：Nodejs实现自动清理elasticsearch过期索引(日志清理)--学习笔记 http://blog.csdn.net/gzy11/article/details/55260615
elasticsearch清理索引日志
yl096815的博客
07-22 440
查询： GET _cat/indices 删除： DELETE /filebeat-7.7.1-2020.06.12-000001
ELK之清理旧日志
最新发布
u010554181的博客
07-26 213
ELK之清理旧日志
ElasticSearch日志删除命令
weixin_34250709的博客
06-05 1304
先用：GET _cat/indices命令查出所有索引： 我的index格式形如： 通过curl发送DELETE命令给elasticsearch服务器，进行日志删除操作。命令示例如下： 1、 进服务器通过命令删除： curl -XDELETE 'http://ip:9200/*merchant-receipt-log-2019.06.04*' ...
ElasticSearch日志删除
qq_39515735的博客
07-14 2624
查看ElasticSearch中的索引： #curl http://ip:9200/_cat/indices -u用户:密码 通过curl发送DELETE命令给elasticsearch服务器，进行日志删除操作。 示例： 1、通过日期删除2020年六月的日志： #curl -XDELETE http://ip:9200/*-2020-06-* -u用户:密码 六月的日志已经被删除 2、删除索引为bzq-log开头的日志 #curl -XDELETE http://ip:9200/bzq-log-* -
elasticsearch日志文件定时清理
hello world
02-16 946
我希望是给这些日志定时清理掉。
ELK：利用X-PACK账号鉴权，清理过期ES索引数据（二）
jane_zhang1022的博客
09-06 618
利用X-PACK账号鉴权 进入es容器，打开config目录下的elasticsearch.yml编辑，添加如下配置 http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-headers: Authorization xpack.security.enabled: true xpack.security.transport.ssl.enabled: true 保存退出容器后，重启es容器..
shell脚本批量删除es索引的方法
09-15
在IT行业中，Elasticsearch（简称ES）是一个广泛使用的分布式搜索引擎，它提供了高效的数据存储、检索和分析功能。然而，随着时间的推移，系统中可能会积累大量的旧索引，这可能导致资源浪费，甚至影响到集群的性能...
elasticsearch日志清理脚本
云深海阔专栏
06-24 1226
问题描述： 对于免费版本的elk，默认情况会保留全部数据，如果不及时清理，生产环境3个月的累计数据量为27G，平均每月增加9G，本文讲解如何定期清理elk日志； 解决办法 1）创建脚本 vi rm_es_log.sh chmod +x rm_es_log.sh 默认只保留最近7天的日志，可以传入参数清理其他时间的日志； 我的elasticsearch有权限控制，如果无密码方式登录，需要去掉-u参数 #!/bin/sh #################################### # File
elasticsearch 过期数据自动删除Java代码
我的博客
03-14 3968
es中的索引名为index-yyy-MM-dd 的形式的时候，可以根据直接日期判断来直接删除过期的整个索引请尊重知识产权，博客原文地址http://blog.csdn.net/qq1032355091/article/details/79558496package cn.bmkp.esCleaner; import java.net.InetAddress; import java.net.Un...
ES日志索引清除
派大星的不眠博客
02-22 1884
ES在ELK系统当中起着查询和存储功能，如果不删除ES数据，长时间将会导致ES存储的数据越来越多，磁盘满了之后将无法写入新的数据。这时可以使用脚本定时删除过期数据。
elasticsearch log索引清理
qq_19550657的博客
10-16 520
为了尽量最大使用磁盘空间，索引的生存时间设置为最大，当磁盘使用达到一定的比例时，用shell脚本删除索引 #!/bin/sh diskLeft=`df -h | grep xxhlog(替换你自己的磁盘标识) | awk '{print substr($5,1,2)}'` if [ $diskLeft -gt 85 ] then top1Index=`curl 'yourIP:9200/...
elasticsearch 怎么删除过期的数据
JasonLee实时计算
06-19 6565
使用elasticsearch收集日志进行处理，时间久了，很老的数据就没用了或者用途不是很大，这个时候就要对过期数据进行清理.但是es5.0之后就不支持ttl,那怎么办呢? 1,请使用官方的工具elasticsearch-curator 2,使用delete-by-query方法删除特定时间范围的数据 第一种这里不再介绍了,直接看官网吧,主要说下第二种 语法格式如下: POST twi...
linux添加日志清理任务,Linux中添加计划任务与Elasticsearch日志自动清理
weixin_39829166的博客
05-11 91
一、简述当日志发送到ELK之后，Elasticsearch随着日志的增加，占用磁盘量会越来越大。这时候，需要我们写角本定期DELETE日志。角本写法，也很简单，只是发送HTTP的DELETE方式到:http://:/*-yyyy.MM.dd*即可。 二、定期删除Elasticsearch中日志的角本：新建一个es-index-clear.sh到/opt目录下，内容如下：#/bin/bash#es-...
定时清理elasticsearch、logstash日志 logrotate切割kibana日志 linux 持续更新
weixin_45717886的博客
04-26 3390
kibana日志切割 定义kibana pid与log文件 2. 配置logrotate文件 cd /etc/logrotate.d [root@iZwz9b8x8l2oe511fss4qfZ logrotate.d]# cat kibana /data/kibana/logs/kibana.log { daily minsize 10M missingok notifempty dateext rota
清理ES日志索引
可乐的博客
12-03 877
根据索引清理ES日志数据
EFK之elasticSearch自动清理方案
MarshalEagle的博客
06-20 2478
本方案实现的功能点：输入日志文件、按照指定的日期（天数）清理数据、按照指定的磁盘路径使用率阈值清理数据、清除指定的索引数据，并配合crond实现定时监控和清理索引数据，以确保磁盘空间健康。
Elasticsearch定时清理过期索引
08-16
您好！对于Elasticsearch的定时清理过期索引，您可以使用Elasticsearch的Curator插件来实现。Curator是一个用于管理Elasticsearch索引的工具，可以方便地执行索引的删除、备份等操作。 以下是一些步骤可以用来设置定时清理过期索引的任务： 1. 安装Curator：您可以通过pip命令安装Curator： ``` pip install elasticsearch-curator ``` 2. 创建配置文件：创建一个YAML格式的配置文件，用于定义索引清理任务。例如，创建一个名为`curator_config.yml`的文件，并添加以下内容： ```yaml --- # 连接Elasticsearch的信息 client: hosts: - 127.0.0.1 port: 9200 url_prefix: use_ssl: False certificate: client_cert: client_key: ssl_no_validate: False http_auth: timeout: 30 master_only: False # 清理任务配置 actions: 1: action: delete_indices description: "Delete indices older than 30 days" filters: - filtertype: pattern kind: prefix value: your_index_prefix- - filtertype: age source: name direction: older timestring: '%Y.%m.%d' unit: days unit_count: 30 ``` 在上述配置中，`hosts`字段指定了Elasticsearch的地址和端口，`filters`字段定义了过滤器规则，这里以索引名的前缀和索引的创建时间进行过滤。 3. 创建定时任务：使用cron表达式来定义定时任务，可以在Linux系统的crontab中添加以下命令： ``` curator --config /path/to/curator_config.yml --dry-run ``` 上述命令中的`--dry-run`参数用于测试运行，可以在实际运行之前先检查将要执行的操作。 4. 运行定时任务：如果测试运行没有问题，可以将上述命令添加到crontab中，并设置合适的执行频率。例如，每天凌晨执行一次： ``` 0 0 * * * curator --config /path/to/curator_config.yml ``` 通过以上步骤，您就可以设置定时清理过期索引的任务了。请确保对配置文件和定时任务的设置进行适当调整，以满足您的需求。希望对您有所帮助！如有任何问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值