ES定期删除数据实现

最新推荐文章于 2024-03-22 08:31:14 发布

OliverCaro

最新推荐文章于 2024-03-22 08:31:14 发布

阅读量1.5k

点赞数 1

分类专栏： Elasticsearch

本文链接：https://blog.csdn.net/OliverCaro/article/details/103836742

版权

Elasticsearch 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

创建清理脚本

vim es-index-clear.sh

#/bin/bash
#只保留30天内的日志索引
LAST_DATA=`date -d "-30 days" "+%Y.%m.%d"`
#删除30天前的索引
curl -XDELETE 'http://ip:port/*-'${LAST_DATA}

添加定时任务

#编辑crontab文件，添加相应的任务
vim /etc/crontab

#设置每天的凌晨一点清除索引
0 1 * * * root sh /opt/elk/scripts/es-index-clear.sh

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

OliverCaro

关注关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Elasticsearch】es 定期删除已经删除的数据物理删除不是等待段合并

九师兄

07-25

1496

由于在Lucene中段具有不变性，所以删除一个文档后不会立即从硬盘中删除该文档，而是产生一个.del文件专门记录被删除的文档。而在检索的过程中，被删除的文件还会参与检索，只不过最后会被过滤，如果被删除的文件太多，则也会影响查询的效率。【Elasticsearch】Elasticsearch如何物理删除给定期限的历史数据？我们知道删除数据会在段合并的时候，进行物理删除，参考【Elasticsearch】elasticsearch 段 segment 段合并。

ElasticSearch定期删除索引

甘蓝的专栏

06-01

2213

安装EFK收集日志后，发现索引太多，想要定期删除。怎么办？使用索引生命周期策略

参与评论您还未登录，请先登录后发表或查看评论

ES定期清理索引

hj的博客

08-16

977

配置curator任务自动删除elasticsearch索引

es定期删除数据

weixin_30663471的博客

01-25

1234

1、定期删除索引使用sentinl报警后，会产生大量如下索引，虽然不占空间，但时间久了也不好，故写个脚本定期删除脚本如下： 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删除上个月份所有的索引 5 curl -XDELETE 'http://10.139.xx.xx:...

定时删除es中的数据

weixin_42348946的博客

08-31

6053

定时删除es中的数据根据时间字段删除时间之前的数据 #!/bin/sh # example: sh delete_es_by_day.sh indexname datefield 3 index_name=$1 daycolumn=$2 savedays=$3 format_day=$4 if [ ! -n "$savedays" ]; then echo "the args is n...

定期删除es的数据

seasonLai的博客

08-23

3821

随着es的数据越来越多，占用磁盘容量越大，需要扩容，要花money就越多，实际上可以定期删除一些时间久远不常用的数据可以在服务器上定期执行以下脚本 #!/bin/sh # example: sh ./delete_es_by_day.sh chat create_time 365 index_name=$1 daycolumn=$2 savedays=$3 format_day=$4 if [ ! -n "$savedays" ]; then echo "the args is not right,

定期删除ES索引

背锅浩的博客

09-15

1039

#!/bin/bash # Filename : delete_es_indices.sh # Date : 2021/04/21 # Author : DingHao # Email : oct_hao@163.com # Crontab : 10 00 * * 6 /bin/bash $BASE_PATH/delete_es_indices.sh >/dev/null 2>&1 # Notes : 将脚本加入cron.

elasticsearch 定期删除数据

08-30

- *1* *2* *3* [ELK整合：ElasticSearch定期删除过期数据](https://blog.csdn.net/xiatiandexiangrikui/article/details/87936654)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...

ElasticSearch官方测试数据

09-14

Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...

001 定期同步mysql数据到es 删除数据库记录同时删除es记录 es全文搜索分词和高亮

最新发布

05-07

【标题】"001 定期同步mysql数据到es 删除数据库记录同时删除es记录 es全文搜索分词和高亮" 提供了几个关键的IT知识点，这些知识点主要围绕MySQL数据库与Elasticsearch（ES）的数据同步、数据一致性的保持以及ES的...

esdata-hashid:Elasticsearch中的数据处理，包括使用ES提供的RESTful API进行插入和删除

05-15

这是什么？这个工程完成了向现有的ES集群中插入测试数据和删除测试数据的功能。其中Task类是线程任务的具体实现过程，Data类是调用线程的主程序类。怎么用？ Data类下有类的说明和调用方法。一些结论在插入数据的时候，为了加快速度，可以做如下设置： index.number_of_replicas = 0; index.refresh_interval = -1; 一些问题

通过es生命周期策略定期删除指定索引

qq_35515283的博客

10-08

3541

通过es生命周期策略定期删除指定索引

ES按照时间删除索引上的数据

wjy1208的专栏

04-23

2505

被删除的文档在segment合并时，才会被真正删除掉。在某些特定情况下，我们需要强制Elasticsearch进行segment merging，已释放其占用的大量系统、磁盘等资源。执行的期间你会发现，磁盘空间会有一个反复变化的过程，磁盘使用率会先增长，然后在删除释放空间这样一个过程。集群的索引没有预先规划大小，导致索引特别大，删除数据删除索引的形式进行，只能在原来的索引上进行数据删除操作。删除索引时采用最经典的方式，即按照时间戳进行删除，比如删除90天以前的历史数据，保留最新的。

ES数据同步：定时重启Logstash，并清除相关数据。

iOS逆向与安全

03-22

511

crontab 文件是一个用于定时执行任务的文件，其中包含了一系列的命令和任务，系统会按照预定的时间间隔来执行这些任务。-x [num]：设置 crontab 文件的加密级别，默认为 0，不加密。crontab 文件中的命令会在后台执行，不会在终端中显示输出结果，如果需要查看输出结果可以使用日志文件记录。使用 crontab -e 可以编辑当前用户的 crontab 文件，可以添加、删除和修改定时任务。-u user：指定要编辑的用户的 crontab 文件，默认为当前用户。

定期删除elasticsearch数据

moyuanbomo的博客

11-25

980

定期删除elasticsearch数据

elasticsearch定时删除索引数据

Merandღ的博客

03-25

7577

有的时候我们在使用ES时，由于资源有限或业务需求，我们只想保存最近一段时间的数据，所以有如下脚本可以定时删除数据编写脚本 vim del_es_by_day.sh #!/bin/bash #定时删除elasticsearch索引 #author menard 2019-3-25 date=`date -d "-7 days" "+%Y.%m.%d"` /usr/bin/curl -v --...

基于shell函数来实现对es定期删除索引

最美dee时光的博客

04-12

417

1、背景前段时间给公司新机房上的服务器部署了一套EFK日志监控系统，但过了一段时间后发现索引很多，同时也会对服务器的存储造成不小的压力，特此来编写一个定期删除索引的脚本。 2、需求分析定义es主机的相关账号信息定义对es命令行操作的api 定义过期的索引数量(保留的索引数量) 定义删除索引的函数 3、脚本编写 cat ES_index_delete.sh #!/bin/bash #description:定期删除es索引 #Author：wangkx #date：2021/3/23 #es的主

elasticsearch索引按日期拆分和定期删除

ke7025的博客

09-03

4960

ES索引按日期拆分和定期删除，并且不影响原搜索逻辑

定期删除es索引(elasticsearch)自定义时间

运维小桃子

12-15

1592

定期删除es(elasticsearch)索引注意：将ip地址改为自己的本机es地址 #!/bin/sh function delIndex() { index_name=$1 savedays=$2 while [ $savedays -le $3 ] do format_day='%Y.%m.%d' sevendayago=`date -d "-${savedays}