elasticsearch服务器定时自动清理日志索引

最新推荐文章于 2022-05-14 11:41:46 发布
最新推荐文章于 2022-05-14 11:41:46 发布
阅读量1.4k 收藏 5
点赞数 1
分类专栏： ecs 搜索引擎 分布式日志收集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25933841/article/details/104539972
版权
本文介绍了如何创建一个定时脚本来自动清理Elasticsearch服务器上的旧日志索引。通过进入Elasticsearch索引目录，使用curl调用API查看并删除索引，然后编写shell脚本实现批量模糊删除。最后，将脚本添加到Linux定时任务中，确保定期执行。
摘要由CSDN通过智能技术生成

突然想到项目中每天要生产各个环境的索引...时间一长会越来越多.

这里写一个定时自动清理elasticsearch的脚本  

 

首先.我们进入到elasticsearch的索引目录中去   发现索引数据是真多啊...

root@iZbp1ig4nql7imcw4ssn7vZ:/home/idouall# cd /opt/elasticsearch-6.4.3/data/nodes/0/indices/
root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices# pwd
/opt/elasticsearch-6.4.3/data/nodes/0/indices
root@iZbp1ig4nql7imcw4ssn7vZ:/opt/elasticsearch-6.4.3/data/nodes/0/indices# ll
total 140
drwxrwxr-x 35 idouall idouall 4096 Feb 27 16:32 ./
drwxrwxr-x  4 idouall idouall 4096 Feb 20 21:42 ../
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 335HxTLoTEyVGtNBI3QnUw/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 18:06 8vzxHNv3SOSYEmyleo6G-A/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 93mpD1vsQ2OeiZoTVHw4WA/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 15:10 9OhuYCcKRoywBY-9RcfWLg/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 ahtHtEOoQ32tKLys8-PPfQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 15:08 AmsG8zAZRv2-mxhQe6se6g/
drwxrwxr-x  8 idouall idouall 4096 Feb 25 09:15 bfhdi1FMRIOwQ1m1KtKGXA/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 09:41 ChxRHY7SQsGBqbDI3q7AEg/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 15:46 CKAnJBrdQd2A_gT4YW898g/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 dEQDNpMlRtidwIaoZbWXuQ/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 15:46 Dsct-CMWQK6Fd6mdRra-Yg/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 08:00 DuoIvH0sRcmwcqFPJrUWOw/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 FRHlFniRS8CprAwM-RHfqw/
drwxrwxr-x  8 idouall idouall 4096 Feb 26 16:45 IrtW2PWqSc2s1L8OSVJh0A/
drwxrwxr-x  8 idouall idouall 4096 Feb 25 09:15 JNaCO72jSrKVWCpVUowVjA/
drwxrwxr-x  8 idouall idouall 4096 Feb 24 17:25 JOONjvP2QSavERnM1oLIEA/
drwxrwxr-x  8 idouall idouall 4096 Feb 27 10:19 k3E5EExhSBKf2uR97AKVVw/
drwxrwxr-x  8 idouall ido
最低0.47元/天 解锁文章
西木东林
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticsearchException: java.io.IOException: failed to read [id:0, file:/data/elasticsearch/nodes/0/...
weixin_30594001的博客
07-19 2696
1.以前装过elasticsearch，重新安装elastic search ，报错 [2019-07-19T14:32:10,720][ERROR][o.e.g.GatewayMetaState ] [master-node] failed to read local state, exiting... org.elasticsearch.ElasticsearchExce...
elasticsearch索引自动清理
小孩的博客
03-01 2648
查看所有的索引文件： curl -XGET http://localhost:9200/_cat/indices?v 删除索引文件以释放空间： curl -XDELETE http://localhost:9200/filebeat-2016.12.28 单节点的elk可在索引目录删除索引文件:集群环境删除某节点的索引文件，会导致集群服务不可用.集群环境需要使用API的方式进行删除. 索
elasticsearch来存储你的日志
tao_wei162的博客
09-29 655
用ElasticSearch存储日志 介绍 如果你使用elasticsearch来存储你的日志，本文给你提供一些做法和建议。 如果你想从多台主机向elasticsearch汇集日志，你有以下多种选择： •Graylog2 安装在一台中心机上，然后它负责往elasticsearch插入日志，而且你可以使用它那个漂亮的搜索界面~ •Logstash 他有很多特性，包...
用ElasticSearch存储日志
weixin_34355715的博客
03-15 964
介绍 如果你使用elasticsearch来存储你的日志，本文给你提供一些做法和建议。 如果你想从多台主机向elasticsearch汇集日志，你有以下多种选择： Graylog2 安装在一台中心机上，然后它负责往elasticsearch插入日志，而且你可以使用它那个漂亮的搜索界面~ Logstash 他有很多特性，包括你能输入什么日志，如何变换过滤，最好输出到哪里。其中就有输出到e...
Nodejs实现自动清理elasticsearch过期索引(日志清理)
02-17
总结，使用Node.js实现Elasticsearch过期索引的自动清理是一项实用的技术，它可以帮助我们有效地管理日志数据，保持系统的高效运行。在实践中，结合具体的业务场景，灵活调整清理策略和频率，确保数据安全的同时，...
Docker日志自动化:ElasticSearch、Logstash
02-26
本文主要介绍了如何使用ElasticSearch、Logstash、Kibana和Logspout技术栈来部署自动化的日志系统。You,too,couldLogstash.快速念五遍这个题目！不过说实话，我其实并不确定该给这篇文章起个什么样的名字才能确保...
es自动化脚本:创建索引和结构映射
02-07
以脚本方式创建es 索引和结构映射. 莎士比亚在不经意间这样说过，本来无望的事，大胆尝试，往往能成功。我希望诸位也能好好地体会这句话。 一般来讲，我们都必须务必慎重的考虑考虑。 就我个人来说，我秃头了对我的...
elasticsearch索引介绍.pptx
08-16
Elasticsearch（ES）是一种基于Lucene的分布式、RESTful搜索和分析引擎，广泛用于大数据的实时分析和检索。在本讲座中，我们将深入探讨Elasticsearch中的索引概念及其重要性。 首先，让我们理解一下ES中的“索引”...
linux 安装、启动 Elasticsearch6.4.2 详细步骤以及问题解决方案
hs_714828299的博客
09-05 3628
第一步：环境 linux 系统 Java 1.8.0_141 elasticsearch-5.6.3 第二步：下载 2.1 JDK的下载可以去官网上直接下载，再次声明一下不要下载最新版本 JAVA 9 版本本人在次已经踩过坑了 2.2 ES 去官网直接下载，本人使用的是 5.6.3 版本；因为版本的不同安装head插件的时候安装步骤不同；好像是从5.0 以后的版本安装head 插件的步骤就不一样...
定时清理elasticsearch索引和数据
linxi7的博客
05-14 2459
业务中由于索引是按照时间自动创建的，所以需要定时任务来清理这些索引和数据 #!/bin/bash clean_log="/data/elk/tools/es_index.log" pre_deltime=5 live_deltime=30 #不同环境索引关键字不一样 pre_indexs=`curl --user test:test123 -s "10.0.0.1:9200/_cat/indices?v" |awk '{print $3}' |grep "pre"` live_indexs=`curl
elasticsearch定期删除索引ELK清理索引脚本
cai750415222的博客
04-02 5434
搭建ELK有一段时间了，但是发现elastic中的索引越来越来 狠站内存，每次清理的时候都要一个一个的清除，觉得很麻烦，所以写了个简单的脚本直接一次性全部清理多于的索引 实现要求 可以自动化 也可以定制化 自动化： 可以直接写一个定时任务，让监本在多少天之内运行一次进行自动删除 定制化：输入对应的天数，即删除对应的天数之外的所有索引 自动化的比较简单，这里我说一下定制化的脚本 1 手动查询所有索引...
elasticsearch的索引自动清理及自定义清理
weixin_30236595的博客
04-25 1145
近发现elasticsearch近期索引文件大的吓人，清理了下之前的索引文件，发现服务器性能大大的减轻了一半，想一直保留近一个月的索引文件，但是又不想每个月手动清楚，在此写了一个小脚本 查询索引: curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' 一、 手动删除 rm -rf *2017-03-* 二、api删除 ...
elasticsearch定期删除策略 - 日志分析系统ELK搭建
热门推荐
SAGGITARXM
07-04 2万+
日志分析系统ELK搭建ELKELK是日志收集、索引与检索三件套，包含了三个组件ElasticSearchLogstashKibana其中ElasticSearch完成日志的索引，并提供查询接口，Logstash完成日志的收集，Kibana则提供可视化展示有了ELK，我们不再需要到线上的每一台机器上grep日志，而且能可视化查询任何你想查询的日志信息。通过Kibana能非常直接漂亮的展示很多信息，E...
Elasticsearch索引定时清理
weixin_34314962的博客
10-30 764
问题 近期,kibana页面上出现Elasticsearch plugin is red错误信息,重启elasticsearch后又频繁出现该问题,观察elasticsearch发现各节点之间出现连接超时的现象. 解决方法 怀疑是索引条目太多,导致Elasticsearch性能下降造成的,通过查询api发现大量索引是yellow状态:curl -XGET 'http://127.0.0.1:920...
shell脚本定期清理elasticsearch日志
草莓甜甜圈的博客
09-30 875
前景：部署skywalking，elk等服务时会用到es存储数据，运行一段时间会占用磁盘空间，影响服务器性能。在保证服务正常使用的情况下，我们可以对es的索引进行删除操作，舍弃旧数据。所以我编写了一个脚本，仅供参考。如果要做定时任务的话，可以对稍作修改。 [root@dev-sw_es:shell]# vim delete_es_data.sh #!/bin/bash #本脚本用于按月份清理ES存储数据 #获取本月份与索引中的日期进行比较，本月份前的索引数据将被删除。 #删除前要确认 NOW_DAT
定时删除elasticsearch指定时间之前的数据（delete同步问题）
qq_43130832的博客
04-02 7002
1、批量删除elasticsearch6.6.2 小于指定时间的数据 [root@zabbix:/root/elastic]$ cat del_hz.sh curl -u elastic:***** -XPOST "http://111.111.111.111:9201/Indexname/_delete_by_query" -H 'Content-Type: application/json'...
elasticsearch日志清理脚本
云深海阔专栏
06-24 1197
问题描述： 对于免费版本的elk，默认情况会保留全部数据，如果不及时清理，生产环境3个月的累计数据量为27G，平均每月增加9G，本文讲解如何定期清理elk日志； 解决办法 1）创建脚本 vi rm_es_log.sh chmod +x rm_es_log.sh 默认只保留最近7天的日志，可以传入参数清理其他时间的日志； 我的elasticsearch有权限控制，如果无密码方式登录，需要去掉-u参数 #!/bin/sh #################################### # File
Nodejs实现自动清理elasticsearch过期索引(日志清理)--学习笔记
蜗牛水里爬
02-17 4001
2018-08-16更新 修正支持5.X全系 最新6.X 版本自动清除索引 增加权限验证。     本人是C#开发者，写起Nodejs估计还保留着浓浓的C#风格吧。 elasticsearch简单说一下，索引一般推荐以日期为单位。没啥原因大家的经验而已。 elasticsearch相关资料：https://www.elastic.co/guide/en/elasticsearch/cli...
Elasticsearch定时清理过期索引
最新发布
08-16
您好！对于Elasticsearch的定时清理过期索引，您可以使用Elasticsearch的Curator插件来实现。Curator是一个用于管理Elasticsearch索引的工具，可以方便地执行索引的删除、备份等操作。 以下是一些步骤可以用来设置定时清理过期索引的任务： 1. 安装Curator：您可以通过pip命令安装Curator： ``` pip install elasticsearch-curator ``` 2. 创建配置文件：创建一个YAML格式的配置文件，用于定义索引清理任务。例如，创建一个名为`curator_config.yml`的文件，并添加以下内容： ```yaml --- # 连接Elasticsearch的信息 client: hosts: - 127.0.0.1 port: 9200 url_prefix: use_ssl: False certificate: client_cert: client_key: ssl_no_validate: False http_auth: timeout: 30 master_only: False # 清理任务配置 actions: 1: action: delete_indices description: "Delete indices older than 30 days" filters: - filtertype: pattern kind: prefix value: your_index_prefix- - filtertype: age source: name direction: older timestring: '%Y.%m.%d' unit: days unit_count: 30 ``` 在上述配置中，`hosts`字段指定了Elasticsearch的地址和端口，`filters`字段定义了过滤器规则，这里以索引名的前缀和索引的创建时间进行过滤。 3. 创建定时任务：使用cron表达式来定义定时任务，可以在Linux系统的crontab中添加以下命令： ``` curator --config /path/to/curator_config.yml --dry-run ``` 上述命令中的`--dry-run`参数用于测试运行，可以在实际运行之前先检查将要执行的操作。 4. 运行定时任务：如果测试运行没有问题，可以将上述命令添加到crontab中，并设置合适的执行频率。例如，每天凌晨执行一次： ``` 0 0 * * * curator --config /path/to/curator_config.yml ``` 通过以上步骤，您就可以设置定时清理过期索引的任务了。请确保对配置文件和定时任务的设置进行适当调整，以满足您的需求。希望对您有所帮助！如有任何问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值