Elasticsearch定时删除数据

最新推荐文章于 2023-04-17 09:03:57 发布
最新推荐文章于 2023-04-17 09:03:57 发布
阅读量2.8k 收藏
点赞数
分类专栏： ELK

脚本代码

#!/bin/bash
# filename:deleteEsData.sh
# 每天2点定时删除es中指定日期的数据
# crontab: 0 2 * * * sh /home/scripts/deleteEsData.sh >> /home/scripts/logs/deleteEsData.run.log 2>&1
# 如今天是2017-09-21 50天前是2017.08.02
# createdate: 20190921

today=`date +%Y-%m-%d`;
echo "今天是${today}"

# 不指定参数时，默认删除daynum天前以logs-开头的数据
daynum=51

# 当参数个数大于1时，提示参数错误
if [ $# -gt 1 ] ;then
        echo "要么不传参数，要么只传1个参数!"
        exit 101;
fi

# 当参数个数为1时，获取指定的参数
if [ $# == 1 ] ;then
        daynum=$1
fi

esday=`date -d '-'"${daynum}"' day' +%Y.%m.%d`;
echo "${daynum}天前是${esday}"

curl -XDELETE http://127.0.0.1:9200/*-${esday}
echo "${esday} 的log删除执行完成"

源博地址：https://www.jianshu.com/p/458421dac807

毕京钊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Elasticsearch】es 定期删除 已经删除的数据 物理删除 不是等待段合并
九师兄
07-25 1442
由于在Lucene中段具有不变性，所以删除一个文档后不会立即从硬盘中删除该文档，而是产生一个.del文件专门记录被删除的文档。而在检索的过程中，被删除的文件还会参与检索，只不过最后会被过滤，如果被删除的文件太多，则也会影响查询的效率。【Elasticsearch】Elasticsearch如何物理删除给定期限的历史数据？我们知道删除数据会在段合并的时候，进行物理删除，参考【Elasticsearch】elasticsearch 段 segment 段合并。
ES数据同步：定时重启Logstash，并清除相关数据。
最新发布
iOS逆向与安全
03-22 466
crontab 文件是一个用于定时执行任务的文件，其中包含了一系列的命令和任务，系统会按照预定的时间间隔来执行这些任务。-x [num]：设置 crontab 文件的加密级别，默认为 0，不加密。crontab 文件中的命令会在后台执行，不会在终端中显示输出结果，如果需要查看输出结果可以使用日志文件记录。使用 crontab -e 可以编辑当前用户的 crontab 文件，可以添加、删除和修改定时任务。-u user：指定要编辑的用户的 crontab 文件，默认为当前用户。
定时清理elasticsearch中的历史数据
huchao_lingo的博客
01-06 4560
定时清理elasticsearch中的历史数据 创建清理脚本 创建脚本目录 mkdir -p /opt/server/cron 创建脚本 vim delete_elasticsearch_data.sh #!/bin/bash mydate=$(date -d "-30 day" +"%Y-%m-%d") curl -XDELETE "http://localhost:9200/...
脚本文件实现elasticsearch集群定时删除7天前索引数据
fengzhimohan的博客
11-06 3570
elasticsearch定时删除7天前索引数据的步骤： 1.新建sh脚本文件 项目中elasticsearch集群有两台服务器，分别为126和127,选择127服务器新建sh脚本文件。 es_index_delete.sh脚本文件内容如下： #!/bin/bash #es_index_delete.sh LAST_DATA=`date -d "-7 days" "+%Y-%m-%d"` cur...
ElasticSearch之定时删除数据
珊瑚海的博客
05-09 1万+
有的时候我们在使用ES时，由于资源有限或业务需求，我们只想保存最近一段时间的数据，所以有如下脚本可以定时删除数据 delete_es_by_day.sh #!/bin/sh # example: sh delete_es_by_day.sh logstash-kettle-log logsdate 30 index_name=$1 daycolumn=$2 savedays=$3 form
定期删除elasticsearch数据
moyuanbomo的博客
11-25 960
定期删除elasticsearch数据
es定期删除数据
weixin_30663471的博客
01-25 1217
1、定期删除索引 使用sentinl报警后，会产生大量如下索引，虽然不占空间，但时间久了也不好，故写个脚本定期删除 脚本如下： 1 #!/bin/bash 2 #只保留5天内的日志索引 3 LAST_DATA=`date -d "-5 days" "+%Y.%m.%d"` 4 #删除上个月份所有的索引 5 curl -XDELETE 'http://10.139.xx.xx:...
docker mysql 定时备份shell
Vinci_ljl的博客
09-01 298
备份shell #!/bin/bash #保存备份个数 number=10 username=root password=123456 db=hjjn_base backup_dir=/data/docker/mysql/dump/ mkdir -p /data/docker/mysql/dump/ docker exec my-mysql mysqldump -u$username -p$password $db > $backup_dir/$db-`date +%Y-%m-%d-%H-
Elasticsearch 删除数据
weixin_34074740的博客
12-12 2411
删除数据分为两种：一种是删除索引（数据和表结构同时删除，作用同SQLSERVER 中 DROP TABLE "表格名"），另一种是删除数据（不删除表结构，作用同SQLSERVER中Delete 语句）。 一：删除索引： 删除单个索引可以使用命令 【DELETE /索引名称】 Delete 索引名称 删除多个索引可以使用命令 【DELETE /索引1，索引2】 Dele...
从ElasticSearch删除数据
w36680130的博客
06-26 2514
I'm new to ElasticSearch . 我是ElasticSearch的新手 。 I'm trying to figure out how to remove data from El
定时清理elasticsearch索引和数据
linxi7的博客
05-14 2496
业务中由于索引是按照时间自动创建的，所以需要定时任务来清理这些索引和数据 #!/bin/bash clean_log="/data/elk/tools/es_index.log" pre_deltime=5 live_deltime=30 #不同环境索引关键字不一样 pre_indexs=`curl --user test:test123 -s "10.0.0.1:9200/_cat/indices?v" |awk '{print $3}' |grep "pre"` live_indexs=`curl
Nodejs实现自动清理elasticsearch过期索引(日志清理)
02-17
该篇文章源码：Nodejs实现自动清理elasticsearch过期索引(日志清理)--学习笔记 http://blog.csdn.net/gzy11/article/details/55260615
ElasticSearch 定时删除指定天数的数据实践
Python编程参考官方媒体账号
03-15 1594
网上对于定时删除 ElasticSearch 索引数据有相当多的文章，有一些是借助 Curator 工具实现，有一些通过 ElasticSearch 的 delete_by_query 语句实现。 事实上这几种都可以实现我们想要定期删除数据的效果，粗略翻看了一下（本王还没来得及细看），可以这么理解： delete_by_query 语句适合删除指定索引中的指定数据，例如删除索引 error_log 中距今超过 5 天的数据； Curator 工具适合删除指定的索引，例如删除索引 error_log_20.
Linux定时删除es索引,elasticsearch自动按天创建索引脚本
weixin_31423211的博客
05-14 1392
elasticsearch保存在一个索引中数据量太大无法查询，现在需要将索引按照天来建，查询的时候关联查询即可有时候es集群创建了很多索引，删不掉，如果是测试环境或者初始化es集群(清空所有数据)，可以直接关掉elastic进程，然后删除nodes下面的所有数据，再次启动集群即可，记录一下避免忘记导出mapping信息放到/root/index_mapping目录下1.导出的语句yum insta...
ElasticSearch删除索引中的数据（delete_by_query）
热门推荐
IT之一小佬的博客
04-17 1万+
ElasticSearch删除索引中的数据（delete_by_query）
elasticsearch导入之前删除的数据，doc状态为一直为deleted，无法查询
wj的博客
08-17 1393
之前使用logstash导入到该index下一百多万条数据有问题，删除该节点后，又重新创建该节点； 再次导入原先删除的数据，docs下“count”的数据一直保持为1，只有“deleted”的数量在不停增长。 尝试了： 重新安装eslasticsearch；替换版本后导入； 建立不同名称的index后导入； 删除temp文件夹下的eslasticsearch文件后导入； forcemerge清空删除状态的数据后导入； 以上操作均无效，数据导入后增长的只有 “deleted”的数量，且每次“count”.
定时删除es中的数据
weixin_42348946的博客
08-31 6028
定时删除es中的数据 根据时间字段删除时间之前的数据 #!/bin/sh # example: sh delete_es_by_day.sh indexname datefield 3 index_name=$1 daycolumn=$2 savedays=$3 format_day=$4 if [ ! -n "$savedays" ]; then echo "the args is n...
es 用 kibana 根据时间删除数据
lbl251的博客
01-12 5279
时间小于多少删除数据 POST sms_index/_delete_by_query { "query": { "range": { "auditTime": { "lt":"2020-03-14T03:09:11.989Z" } } } }
脚本删除es指定时间的数据
weixin_44034192的博客
04-18 6072
定期删除索引内的数据 使用elasticsearch的api：delete_by_query来进行删除指定数据。这种方法也是通用的 #!/bin/bash curl -X POST "http://es地址/索引名称/_delete_by_query?pretty" -H 'Content-Type: application/json' -d ' {"query":{ ...
11天定时清理es数据shell脚本
04-28
好的，针对这个问题，我可以给出一个示例的 shell 脚本来实现定时清理 Elasticsearch 数据的功能。具体的脚本如下： ```shell #!/bin/bash # Elasticsearch 集群节点地址 ES_HOST="localhost:9200" # 数据保存的索引名称 INDEX_NAME="my_index" # 删除索引数据的时间阈值，单位为天 DAYS_THRESHOLD=11 # 获取当前时间 CURRENT_DATE=$(date +%s) # 计算删除数据的时间戳 DELETE_DATE=$(expr $CURRENT_DATE - $DAYS_THRESHOLD \* 24 \* 60 \* 60) # 构建删除请求体 DELETE_REQUEST_BODY="{\"query\":{\"range\":{\"@timestamp\":{\"lte\":$DELETE_DATE}}}}" # 发送删除请求 curl -XPOST "$ES_HOST/$INDEX_NAME/_delete_by_query" -H 'Content-Type: application/json' -d "$DELETE_REQUEST_BODY" ``` 该脚本的主要作用是利用 Elasticsearch 的 Delete By Query API 删除指定时间前的数据。其中，需要根据实际情况修改 ES_HOST、INDEX_NAME 和 DAYS_THRESHOLD 这三个变量。将脚本保存为一个文件，例如 `es_clean.sh`，然后使用 crontab 工具设置定时任务即可。例如，设置每天凌晨 3 点钟运行脚本的任务可以使用如下命令： ```shell 0 3 * * * /path/to/es_clean.sh ``` 这样，脚本就会在每天的凌晨 3 点钟自动运行，定期清理 Elasticsearch 中指定索引的数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值