Elasticsearch删除天、小时的索引脚本

最新推荐文章于 2023-03-13 19:32:01 发布
最新推荐文章于 2023-03-13 19:32:01 发布
阅读量254 收藏
点赞数
文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37724261/article/details/106637560
版权

删除天脚本

获取输入的天数
DELTIME=30
echo "----------------------------删除天dy_ ------------------------------" >>${CLEAN_LOG}

#脚本的日志文件路径
CLEAN_LOG="/usr/local/clean_es_index_dy.log"
#索引前缀
INDEX_LOGST="*_dy_*"
#elasticsearch 的主机ip及端口
SERVER_PORT="10.218.94.85:10200"

#取出已有的索引信息
#INDEXS_ALL=$(curl -XGET "http://${SERVER_PORT}/_cat/indices?v" | awk '{print $3}')
#查询logstash-*的索引
INDEXS_KEY_LOGST=$(curl -XGET  "http://${SERVER_PORT}/_cat/indices?v"| grep "$INDEX_LOGST" | awk '{print $3}')
#删除多少天以前的日志，假设输入10，意味着10天前的日志都将会被删除
DELTIME=$DELTIME
echo "-------现在查询【 $DELTIME 】天之前的所有索引 -------" >>${CLEAN_LOG}

#seconds since 1970-01-01 00:00:00 seconds

SECONDS=$(date -d  "$(date  +%F) -${DELTIME} days" +%s)
echo "-------偏移日期--------$SECONDS-------------">>${CLEAN_LOG}
#判断日志文件是否存在，不存在需要创建。
if [ ! -f  "${CLEAN_LOG}" ]
then
touch "${CLEAN_LOG}"
fi
#echo "$(date  +%F)" >> ${CLEAN_LOG}
#删除指定日期索引
echo "----------------------------clean time is $(date +%Y.%m.%d) ------------------------------" >>${CLEAN_LOG}
for del_index_logst in ${INDEXS_KEY_LOGST}
do
    indexDate=$( echo ${del_index_logst:0-6})
    echo "---------截取日期数值------$indexDate-------------">>${CLEAN_LOG}
    if grep '^[[:digit:]]*$' <<< "${indexDate}";then
        format_date=$(echo ${indexDate}| sed 's/\.//g')
        #format_date=$(echo ${indexDate}| sed 's/-//g') 
        #根据索引的名称的长度进行切割，不同长度的索引在这里需要进行对应的修改 日志格式为yyyy.mm.dd的或yyyy-mm-dd的
        indexSecond=$( date -d ${format_date} +%s )
        echo "---------实际索引日期转换------$indexSecond-------------">>${CLEAN_LOG}
        echo "---------比较结果------$(( $SECONDS - $indexSecond ))-------------">>${CLEAN_LOG}
        if [ $(( $SECONDS - $indexSecond )) -gt 0 ]
        then
        echo "-------del---${del_index_logst}" >> ${CLEAN_LOG}
            #取出删除索引的返回结果
        delResult=`curl -XDELETE "http://${SERVER_PORT}/${del_index_logst}?pretty" |sed -n '2p'`
        echo "delResult is ${delResult}" >>${CLEAN_LOG}       
        fi
    else
        echo 'no.'
    fi
done

echo "----------------------------end time is $(date +%Y%m%d) ------------------------------" >>${CLEAN_LOG}

删除小时脚本

#获取输入的天数

DELTIME=30
echo "----------------------------删除小时hr_ ------------------------------" >>${CLEAN_LOG}

#脚本的日志文件路径
CLEAN_LOG="/usr/local/clean_es_index_hr.log"
#索引前缀
INDEX_LOGST="*_hr_*"
#elasticsearch 的主机ip及端口
SERVER_PORT="10.218.94.85:10200"

#取出已有的索引信息
#INDEXS_ALL=$(curl -XGET "http://${SERVER_PORT}/_cat/indices?v" | awk '{print $3}')
#查询logstash-*的索引
INDEXS_KEY_LOGST=$(curl -XGET  "http://${SERVER_PORT}/_cat/indices?v"| grep "$INDEX_LOGST" | awk '{print $3}')
#删除多少天以前的日志，假设输入10，意味着10天前的日志都将会被删除
DELTIME=$DELTIME
echo "-------现在查询【 $DELTIME 】天之前的所有索引 -------" >>${CLEAN_LOG}

#seconds since 1970-01-01 00:00:00 seconds

SECONDS=$(date -d  "$(date  +%F) -${DELTIME} days" +%s)
echo "-------偏移日期--------$SECONDS-------------">>${CLEAN_LOG}
#判断日志文件是否存在，不存在需要创建。
if [ ! -f  "${CLEAN_LOG}" ]
then
touch "${CLEAN_LOG}"
fi
#echo "$(date  +%F)" >> ${CLEAN_LOG}
#删除指定日期索引
echo "----------------------------clean time is $(date +%Y.%m.%d) ------------------------------" >>${CLEAN_LOG}
for del_index_logst in ${INDEXS_KEY_LOGST}
do
    indexDate=$( echo ${del_index_logst:0-8})
    echo "---------截取日期数值------$indexDate-------------">>${CLEAN_LOG}
    if grep '^[[:digit:]]*$' <<< "${indexDate}";then
        format_date=$(echo ${indexDate}| sed 's/\.//g')
        #format_date=$(echo ${indexDate}| sed 's/-//g') 
        #根据索引的名称的长度进行切割，不同长度的索引在这里需要进行对应的修改 日志格式为yyyy.mm.dd的或yyyy-mm-dd的
        indexSecond=$( date -d ${format_date} +%s )
        echo "---------实际索引日期转换------$indexSecond-------------">>${CLEAN_LOG}
        echo "---------比较结果------$(( $SECONDS - $indexSecond ))-------------">>${CLEAN_LOG}
        if [ $(( $SECONDS - $indexSecond )) -gt 0 ]
        then
        echo "-------del---${del_index_logst}" >> ${CLEAN_LOG}
            #取出删除索引的返回结果
        delResult=`curl -XDELETE "http://${SERVER_PORT}/${del_index_logst}?pretty" |sed -n '2p'`
        echo "delResult is ${delResult}" >>${CLEAN_LOG}       
        fi
    else
        echo 'no.'
    fi
done

echo "----------------------------end time is $(date +%Y%m%d) ------------------------------" >>${CLEAN_LOG}
echo "----------------------------删除小时hour_ ------------------------------" >>${CLEAN_LOG}
INDEX_LOGST="_hour_*"
#取出已有的索引信息
#INDEXS_ALL=$(curl -XGET "http://${SERVER_PORT}/_cat/indices?v" | awk '{print $3}')
#查询logstash-*的索引
INDEXS_KEY_LOGST=$(curl -XGET  "http://${SERVER_PORT}/_cat/indices?v"| grep "$INDEX_LOGST" | awk '{print $3}')
#删除多少天以前的日志，假设输入10，意味着10天前的日志都将会被删除
DELTIME=$DELTIME
echo "-------现在查询【 $DELTIME 】天之前的所有索引 -------" >>${CLEAN_LOG}

#seconds since 1970-01-01 00:00:00 seconds

SECONDS=$(date -d  "$(date  +%F) -${DELTIME} days" +%s)
echo "-------偏移日期--------$SECONDS-------------">>${CLEAN_LOG}
#判断日志文件是否存在，不存在需要创建。
if [ ! -f  "${CLEAN_LOG}" ]
then
touch "${CLEAN_LOG}"
fi
#echo "$(date  +%F)" >> ${CLEAN_LOG}
#删除指定日期索引
echo "----------------------------clean time is $(date +%Y.%m.%d) ------------------------------" >>${CLEAN_LOG}
for del_index_logst in ${INDEXS_KEY_LOGST}
do
    indexDate=$( echo ${del_index_logst:0-8})
    echo "---------截取日期数值------$indexDate-------------">>${CLEAN_LOG}
    if grep '^[[:digit:]]*$' <<< "${indexDate}";then
        format_date=$(echo ${indexDate}| sed 's/\.//g')
        #format_date=$(echo ${indexDate}| sed 's/-//g') 
        #根据索引的名称的长度进行切割，不同长度的索引在这里需要进行对应的修改 日志格式为yyyy.mm.dd的或yyyy-mm-dd的
        indexSecond=$( date -d ${format_date} +%s )
        echo "---------实际索引日期转换------$indexSecond-------------">>${CLEAN_LOG}
        echo "---------比较结果------$(( $SECONDS - $indexSecond ))-------------">>${CLEAN_LOG}
        if [ $(( $SECONDS - $indexSecond )) -gt 0 ]
        then
        echo "-------del---${del_index_logst}" >> ${CLEAN_LOG}
            #取出删除索引的返回结果
        delResult=`curl -XDELETE "http://${SERVER_PORT}/${del_index_logst}?pretty" |sed -n '2p'`
        echo "delResult is ${delResult}" >>${CLEAN_LOG}       
        fi
    else
        echo 'no.'
    fi
done
m0_37724261
关注
Linux定时删除es索引,elasticsearch自动按天创建索引脚本
weixin_31423211的博客
05-14 1493
elasticsearch保存在一个索引中数据量太大无法查询，现在需要将索引按照天来建，查询的时候关联查询即可有时候es集群创建了很多索引，删不掉，如果是测试环境或者初始化es集群(清空所有数据)，可以直接关掉elastic进程，然后删除nodes下面的所有数据，再次启动集群即可，记录一下避免忘记导出mapping信息放到/root/index_mapping目录下1.导出的语句yum insta...
elasticsearch按天创建索引脚本
m0_50481928的博客
11-04 1044
1、6X版本 生成的脚本执行 sh indexname_prod.sh import java.io.File; import java.io.FileWriter; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import org.junit.Test; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.
Nodejs实现自动清理elasticsearch过期索引(日志清理)
02-17
该篇文章源码：Nodejs实现自动清理elasticsearch过期索引(日志清理)--学习笔记 http://blog.csdn.net/gzy11/article/details/55260615
删除elasticsearch 30天前的所有索引
weixin_30527143的博客
07-17 1640
我的索引格式为 xxx-xxx-xxx-2019.06.27 xxx-xxxx-2019.06.27 脚本思路： 获取目前 es上所有索引，以日期进行拆分，然后用索引时间对比一个月前的日期,日期小于一个月的直接删除 #!/bin/bash # Remove the index of one month old in elasticserch CMD_ECHO='echo' S...
shell之删除elasticsearch30天以前的索引
weixin_33670713的博客
10-15 779
在elasticsearch的运维工作中，由于es每天会产生大量的日志，如果一直保存不进行删除的话，再大的磁盘空间也会不够用，由此需要删除满足条件的index，从而释放磁盘空间；我们公司的es要求只保留30天的日志即可，超出30天的index则自动进行删除；es-index-delete-30days-ago.sh #!/bin/bash #############################...
elasticsearch 删除N天前的索引脚本
种豆农夫的技术备忘录
05-05 1327
#!/bin/sh function delIndex() { index_name=$1 savedays=$2 while [ $savedays -le $3 ] do format_day='%Y.%m.%d' sevendayago=`date -d "-...
用shell写一个删除Elasticsearch中30天前的数据
weixin_42610671的博客
02-15 208
可以使用以下的shell脚本删除Elasticsearch中30天前的数据： #!/bin/bash # 设置要删除的索引名称，这里假设为"my_index" index_name="my_index" # 获取当前日期30天前的日期 delete_before_date=$(date -d "30 days ago" +"%Y.%m.%d") # 构造要删除的索引名称，格式为"{索引名称}...
Elasticsearch7.0备份索引脚本
06-04
**Elasticsearch 7.0 备份索引脚本详解** 在大数据分析和日志管理领域，Elasticsearch（ES）是一个广泛使用的开源搜索引擎和分析引擎。它提供了实时、可扩展的搜索和分析功能。然而，数据的安全性和可靠性至关重要...
shell脚本批量删除es索引的方法
09-15
总结起来，通过编写shell脚本，我们可以有效地管理和维护Elasticsearch集群中的索引，自动化执行批量删除任务，提高运维效率。这样的脚本适用于定期清理旧数据，释放资源，保持集群健康运行。在实际应用中，一定要...
es-reindex:Ruby脚本复制ElasticSearch索引（重新索引）
03-26
es-reindex-用于复制ElasticSearch索引的简单ruby脚本 简单的ruby脚本，用于复制和重新索引ElasticSearch索引，复制索引设置和映射。 在滚动过程中将显示进度和时间估计。 要求 需要Ruby 1.8.6或更高版本，为方便...
帮我写一个删除elasticsearch三十天外索引数据的shell脚本，不删除索引，只删除索引内的数据...
weixin_42587866的博客
02-15 173
当然，我可以帮你编写一个删除 Elasticsearch 中三十天以前的索引数据的 Shell 脚本。 这里是一个简单的脚本，它将删除 Elasticsearch 中三十天以前的数据，而不是整个索引： #!/bin/bash # 设置要删除的日期 delete_date=$(date -d "30 days ago" +%Y.%m.%d) # 获取 Elasticsearch 中所有索引 in...
elasticsearch日志清理脚本
云深海阔专栏
06-24 1226
问题描述： 对于免费版本的elk，默认情况会保留全部数据，如果不及时清理，生产环境3个月的累计数据量为27G，平均每月增加9G，本文讲解如何定期清理elk日志； 解决办法 1）创建脚本 vi rm_es_log.sh chmod +x rm_es_log.sh 默认只保留最近7天的日志，可以传入参数清理其他时间的日志； 我的elasticsearch有权限控制，如果无密码方式登录，需要去掉-u参数 #!/bin/sh #################################### # File
ElasticSearch日志删除
qq_39515735的博客
07-14 2624
查看ElasticSearch中的索引： #curl http://ip:9200/_cat/indices -u用户:密码 通过curl发送DELETE命令给elasticsearch服务器，进行日志删除操作。 示例： 1、通过日期删除2020年六月的日志： #curl -XDELETE http://ip:9200/*-2020-06-* -u用户:密码 六月的日志已经被删除 2、删除索引为bzq-log开头的日志 #curl -XDELETE http://ip:9200/bzq-log-* -
Nodejs实现自动清理elasticsearch过期索引(日志清理)--学习笔记
蜗牛水里爬
02-17 4020
2018-08-16更新 修正支持5.X全系 最新6.X 版本自动清除索引 增加权限验证。     本人是C#开发者，写起Nodejs估计还保留着浓浓的C#风格吧。 elasticsearch简单说一下，索引一般推荐以日期为单位。没啥原因大家的经验而已。 elasticsearch相关资料：https://www.elastic.co/guide/en/elasticsearch/cli...
elasticsearch删除 x天前的日志
Ban_liu_er的博客
10-24 438
#!/bin/bash ############################################## #Author: Liuzhengwei - 1135960569@qq.com #QQ:1135960569 #Last modified: 2018-10-15 16:29 #Filename:es-index-delete-30days-ago #Description: 通...
Elasticsearch按天生成和删除index脚本
microGP的专栏
06-30 977
首先声明可以使用curator管理索引，这样大多数情况下来说会更安全更合理，也是官方推荐的。 但是如果是按天建索引，且每天的数据量大体差别不大，且可以按天滚动索引，则可以使用脚本来简单粗暴的自动化管理，这对于我这个懒人来说很有诱惑力，大体的思路就是使用脚本通过elasticsearch的restful接口来执行新建和删除指定日期的索引，然后通过linux的crontab在业务低峰期如半夜11点55分来定时执行脚本，废话不说，上脚本： #!/bin/bash date2...
高效管理 Elasticsearch 中基于时间的索引
最新发布
程序员阿飘 的博客
03-13 389
用 Elasticsearch 来索引诸如日志事件等基于时间的数据的人可能已经习惯了“每日一索引”模式：使用以天为粒度的索引名字来存放当天的日志数据，一天过去后再建一个新索引。新索引的属性可以由来提前控制。这种模式很容易理解并且易于实现，但是它粉饰了索引管理的一些复杂的地方：为了达到较高的写入速度，活跃索引分片需要分布在_尽可能多的_节点上。为了提高搜索速度和降低资源消耗，分片数量需要_尽可能地少_，但是也不能有过大的单个分片进而不便操作。
Linux定时删除es索引,定时删除10天前的Es索引
weixin_42510768的博客
05-14 511
说明主要用在索引名为 xxxx-yyyy.MM.dd 这种，可以自定义修改下边的脚本删除索引shell创建 delete_es_indices_over_10_day.sh#!/bin/bash####################################删除早于十天的ES集群的索引###################################function delete_in...
Shell脚本批量清理ES中的过期数据
flon的专栏
09-18 707
#!/bin/bash ESURL=http://127.0.0.1:9200 Savingdays=70 # 传入索引名，删除索引 function delete_es_index(){ printf "deleting index: $1 \r\n" curl -u elastic:tianyan -XDELETE "$ESURL/$1" > /dev/null 2>&1 #printf elastic:tianyan -XDELETE "$ESURL/$1" > /...
Elasticsearch操作脚本：从删除到创建
本文档提供了一些Elasticsearch（简称ES）的常用命令脚本，主要涉及索引的创建、删除以及查看等操作，同时也包含了一个深分页查询的示例。这对于后端工程师在日常开发中快速处理ES相关任务非常有帮助。 ### Elastic...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值