定期删除es的数据

随着es的数据越来越多,占用磁盘容量越大,需要扩容,要花money就越多,实际上可以定期删除一些时间久远不常用的数据

可以在服务器上定期执行以下脚本

#!/bin/sh
# example: sh ./delete_es_by_day.sh chat create_time 365
index_name=$1
daycolumn=$2
savedays=$3
format_day=$4

if [ ! -n "$savedays" ]; then
  echo "the args is not right,please input again...."
  exit 1
fi

if [ ! -n "$format_day" ]; then
   format_day='%Y-%m-%dT00:00:00'
fi

#获取x日之前的时间
savedayago=`date -d "-${savedays} day" +"${format_day}"`
echo "开始删除索引${index_name} 的 ${daycolumn} <= ${savedayago} 的数据"
curl -H "Content-Type: application/json" -XPOST "192.168.31.205:9200/${index_name}/_delete_by_query?refresh&slices=10&scroll_size=10000" -d '
{"query": {
  "bool": {
   "must": [
    {"range": {
     "'${daycolumn}'": {
      "lt": "'${savedayago}'"
     }
    }}
   ]
  }
 }
}'

echo "ok"

如果出问题了,可以取消任务:

查询当前任务

GET _tasks?detailed=true&actions=*/delete/byquery

取消任务

POST _tasks/${任务id}/_cancel

补充:
删除数据的时候,会发现磁盘占用量反增不减,因为不是立马删除数据的,而是会在.del文件上追加被删除的记录,只有有等到下一次段合并的时候才真正被物理删除,这个时候磁盘空间才会释放。

参考:
https://blog.csdn.net/weixin_42348946/article/details/100172478
https://cloud.tencent.com/developer/article/1737025

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
定期删除elasticsearch中的数据,可以通过使用elasticsearch的索引生命周期管理功能来实现。索引生命周期管理根据一些预定义的策略定期删除过期的索引。 首先,你需要编辑elasticsearch的启动脚本(elasticsearch_HOME/bin/elasticsearch),以指定正确的JDK版本。 接下来,你需要配置索引生命周期管理。在elasticsearch的配置文件中,你可以指定索引的生命周期策略,包括索引的保留期限和删除策略。你可以使用curator工具来定期运行一个任务,根据指定的策略删除过期的索引。 另外,你也可以使用elasticsearch的API来手动删除索引。通过发送一个HTTP DELETE请求到指定的索引,你可以删除整个索引或者指定的文档。 注意,在进行任何删除操作之前,请确保你已经备份了重要的数据删除操作是不可逆的,一旦删除就无法恢复。 总结起来,要定期删除elasticsearch中的数据,你可以使用索引生命周期管理功能、curator工具或者elasticsearch的API来实现。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [ELK整合:ElasticSearch定期删除过期数据](https://blog.csdn.net/xiatiandexiangrikui/article/details/87936654)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值