03.ES数据删除

前言
本文提供三种删除es数据的方法:

  • 命令行手动删除
  • 定时任务用脚本删除
  • kibana上删除和index策略

1. 命令行手动删除

  • 从elasticsearch上查看所有index
[root@DoM01 ~]#  curl -s  -XGET http://k8scto.xxx.com.cn:30028/_cat/indices?v
health status index                                          uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   crust-framework-datav-2021.03.22               9vXt8u4BRNaQyYMmaPM1yw   1   1       1348            0    250.3kb        250.3kb
yellow open   crust-framework-auth-2021.03.16                qxO5Aa_0RZyB1p_QXTqbNg   1   1      67589            0     11.3mb         11.3mb
yellow open   crust-framework-auth-2021.03.15                mE1ePd1qReK8si6mZEUWMQ   1   1      64555            0     10.6mb         10.6mb
yellow open   crust-framework-datav-2021.03.23               KmgSIf6VTKGr5OpntRj1cA   1   1       2696            0    464.3kb        464.3kb
yellow open   crust-framework-auth-2021.03.12                KKWT1R4DTZWTdck1mIUYNQ   1   1     249310            0     41.2mb         41.2mb
.......
  • 手动删除index
[root@DoM01 ~]# curl  -XDELETE  "http://k8scto.boe.com.cn:30028/crust-framework-gateway-2021.03.15"
{"acknowledged":true}

2. 定时任务删除

说明:
实际就是把刚才的手动删除写成了脚本,每日删除index是15天之前那个一天的index。
所以如果你写脚本的时候有15天之前的index,那需要手动删除一下。

  • 删除脚本
    创建一个删除日志的脚本 /usr/local/script/elk/delete_index.sh如下:
#!/bin/bash
DATE=`date -d "15 days ago" +%Y.%m.%d`
curl -s  -XGET http://k8scto.xxx.com.cn:30028/_cat/indices?v| grep $DATE | awk '{print $3}' >/tmp/elk.log
for elk in `cat /tmp/elk.log`
do
        curl  -XDELETE  "http://k8scto.xxx.com.cn:30028/$elk"
done
  • 定时任务
[root@DoM01 elk]# crontab -l
00      01      *      *        *       bash /usr/local/script/elk/delete_index.sh  &>/dev/null

3. kibana上索引的操作

3.1 删除index

image.png

3.2 index的策略

  • 修改index的策略
    image.png
  • 策略设置

如下图:
开启了Hot和Delete两个策略,将Delete策略设置为7天
Warm和Cold两个策略没有开启
这只是给index打了一个标签,并不会真的删除
image.png

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
根据提供的引用内容,"org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception Data too large"错误是由于数据大小超过了Elasticsearch的限制引起的[^1]。具体来说,错误信息中提到了"circuit_breaking_exception",这是Elasticsearch中的一种机制,用于防止节点过载。当数据大小超过了限制时,Elasticsearch会触发断路器并抛出此异常。 为了解决这个问题,可以尝试以下方法: 1. 增加Elasticsearch的限制:可以通过修改Elasticsearch的配置文件来增加限制。具体来说,可以增加`indices.breaker.total.limit`和`indices.breaker.request.limit`的值,以适应更大的数据量。但是需要注意,增加限制可能会导致节点负载过高,因此需要根据实际情况进行调整。 2. 减少数据量:如果数据量超过了Elasticsearch的限制,可以考虑减少数据量。可以通过以下方法来减少数据量: - 分批处理数据:将大数据集分成多个较小的批次进行处理,以避免超过限制。 - 压缩数据:使用压缩算法对数据进行压缩,以减少数据的大小。 - 删除不必要的字段:如果数据中包含不必要的字段,可以考虑删除这些字段以减少数据量。 3. 增加Elasticsearch集群的规模:如果以上方法无法解决问题,可以考虑增加Elasticsearch集群的规模,以提供更多的资源来处理大数据量。 请注意,具体的解决方法可能因为你的具体情况而有所不同。建议根据实际情况选择适合的方法来解决问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

玄德公笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值