自动清理 ES 历史数据

已于 2023-05-27 12:20:39 修改
阅读量4.4k 收藏 3
点赞数 3
文章标签： elasticsearch 搜索引擎 kubernetes
于 2023-05-26 17:35:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44770684/article/details/130889815
版权

目录

一、 背景

二、解决方案

三、实现操作

三、合并定时任务的例子

一、 背景

        随着业务的增长和时间的变化，ES 数据库的存储空间越来越大，存储数据多数为系统监控日志，保存的数据不需要长期保留，多数情况只需要保留几个月ES数据即可，既可以减轻ES服务器的负载和资源使用率，还可以节约更多的存储空间。

二、解决方案

      由于我的环境是k8s集群，ES 主要是为k8s集群内部应用服务，没有映射外部访问端口，所以不能直接使用Linux自带的crontab定时ES数据清理脚本。需要创建一个容器定时任务来定时清理ES历史数据。

        k8s定时任务，会根据你设置的时间，定时启动pod实例来执行任务，pod完成执行任务后，pod的状态会由 running 状态变成 Completed 状态。查看定时任务脚本执行日志，可通过查看pod日志实现。

       创建两个定时任务，一个定时任务在删除ES索引前执行，用于核对和审计定时任务删除的索引；另一个是关键的定时任务，用于删除ES历史数据。第一个定时任务可以根据实际情况选择性决定是否要创建。（当然你也可以直接把两个任务合并到一起，将两句curl命令完整内容作为command的参数，两句curl要使用分号 或者 && 连接）

三、实现操作

1、获取ES索引信息 

        获取ES索引定时任务编排文件:  elastic-get-indeices.yaml

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  annotations: 
    description: "先获取一次索引信息，然后再删除索引；以便核对每次删除的索引"
  labels:
    app: elastic-get-indeices
  name: elastic-get-indeices
spec:
  concurrencyPolicy: Forbid
  failedJobsHistoryLimit: 5
  schedule: "0 0 * * *"
  jobTemplate:
    metadata:
      labels:
        app: elastic-get-indeices
    spec:
      activeDeadlineSeconds: 360
      backoffLimit: 3
      completions: 1
      parallelism: 1
      template:
        metadata:
          annotations:
            kubesphere.io/imagepullsecrets: '{}'
        spec:
          containers:
          - command:
            - /bin/sh
            - -c
            - curl -XGET -u ${esuser}:${espass} ${esurl}/_cat/indices | sort -k 3
            env:
            - name: esuser
              value: "elastic"  # ES 用户，使用默认用户即可
            - name: espass
              value: "ES密码"    # 替换成 ES 真实的 密码
            - name: esurl
              value: "http://eshost:9200"  # 替换成 ES 真实 url 地址

            image: centos:7.9.2009  ## 使用任何一个带有 curl 命令的基础镜像都可以
            imagePullPolicy: IfNotPresent
            name: conjob
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /etc/localtime
              name: host-time
              readOnly: true
          dnsPolicy: ClusterFirst
          restartPolicy: Never
          schedulerName: default-scheduler
          securityContext: {}
          serviceAccount: default
          serviceAccountName: default
          terminationGracePeriodSeconds: 30
          volumes:
          - hostPath:
              path: /etc/localtime
              type: ""
            name: host-time
  startingDeadlineSeconds: 30
  successfulJobsHistoryLimit: 5
  suspend: false

创建获取ES索引信息的定时任务：

# 创建 获取 ES 索引 信息定时任务
kubectl apply -f elastic-get-indeices.yaml

 2、删除 ES 30天之前的历史数据

        删除ES历史数据编排文件： elastic-delete-data.yaml

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  annotations: 
    description: "定时删除 ES 历史数据;保留30天的历史数据"
  labels:
    app: elastic-delete-data
  name: elastic-delete-data
spec:
  concurrencyPolicy: Forbid
  failedJobsHistoryLimit: 5
  schedule: "0 1 * * *"    # 每天凌晨 1 点 自动动清理 ES 30天前的历史数据
  jobTemplate:
    metadata:
      labels:
        app: elastic-delete-data
    spec:
      activeDeadlineSeconds: 360
      backoffLimit: 3
      completions: 1
      parallelism: 1
      template:
        metadata:
          annotations:
            kubesphere.io/imagepullsecrets: '{}'
        spec:
          containers:
          - command:
            - /bin/sh
            - -c
            - curl -XDELETE -u ${esuser}:${espass} ${esurl}/*$(date +%Y%m%d -d "30 days ago")*
            env:
            - name: esuser
              value: "elastic"  # ES 用户，使用默认用户即可
            - name: espass
              value: "ES密码"    # 替换成 ES 真实的 密码
            - name: esurl
              value: "http://eshost:9200"  # 替换成 ES 真实 url 地址

            image: centos:7.9.2009  # 使用任何一个带有 curl 命令的基础镜像都可以
            imagePullPolicy: IfNotPresent
            name: conjob
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /etc/localtime
              name: host-time
              readOnly: true
          dnsPolicy: ClusterFirst
          restartPolicy: Never
          schedulerName: default-scheduler
          securityContext: {}
          serviceAccount: default
          serviceAccountName: default
          terminationGracePeriodSeconds: 30
          volumes:
          - hostPath:
              path: /etc/localtime
              type: ""
            name: host-time
  startingDeadlineSeconds: 30
  successfulJobsHistoryLimit: 5
  suspend: false
# 创建 定时删除 ES 历史数据任务
 kubectl apply -f elastic-delete-data.yaml

3、查看创建好的定时任务

# 注意命名空间，若不是当前默认命名空间 记得 指定命名空间
kubectl get cronjobs.batch

 4、已成功完成的定时任务

 5、通过删除前和删除后的索引情况来核对删除了那些索引

说明： 

        curl -X DELETE 删除ES索引是没有详细日志的，所以需要在删除前执行 curl -X GET 获取删除前索引信息，一旦出现异常就可以更好判断当次定时任务实际删除了那些内容，实际上是否成功按照保留天数执行了。

三、合并定时任务的例子

        1、一个定时任务执行多条命令，在删除ES历史数据前后分别获取一次ES索引情况；

        2、高级用法关键要点是：环境变量的互相依赖和引用，一定要注意环境变量的顺序和写法

        3、对于初学者，其实我更推荐第一种写法，简单明了，看着舒服，不易出错

        4、获取ES索引写法：curl -X GET -u ES用户:ES密码 http://127.0.0.1:9200/_cat/indices

        5、删除ES 索引参考:  curl -X DELETE -u ES用户:ES密码 http://127.0.0.1:9200/索引名字

         6、环境变量相互依赖和引用使用，可以参考官方文档：https://kubernetes.io/zh-cn/docs/tasks/inject-data-application/define-interdependent-environment-variables/icon-default.png?t=N4P3https://kubernetes.io/zh-cn/docs/tasks/inject-data-application/define-interdependent-environment-variables/

---
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  annotations: 
    description: "分别输出删除ES历史索引操作前后的索引情况，以及完成删除历史数据操作"
  labels:
    app: delete-elastc-data
  name: delete-elastc-data
spec:
  concurrencyPolicy: Forbid
  failedJobsHistoryLimit: 5
  schedule: "0 1 * * *"
  jobTemplate:
    metadata:
      labels:
        app: delete-elastc-data
    spec:
      activeDeadlineSeconds: 360
      backoffLimit: 3
      completions: 1
      parallelism: 1
      template:
        metadata:
          annotations:
            kubesphere.io/imagepullsecrets: '{}'
        spec:
          containers:
          - command:
            - /bin/sh
            - -c
            - $getes;echo "开始删除史数据:";$deles/*$(date +%Y%m%d -d "30 days ago")*;echo "删除后数据为:";$getes
            env:
            - name: esauth
              value: "elastic:你的ES密码"
            - name: esurl
              value: "http://bk-elastic-elasticsearch-master.blueking:9200"
            - name: getes
              value: "curl -XGET -u $(esauth) $(esurl)/_cat/indices | sort -k 3"
            - name: deles
              value: "curl -XDELETE -u $(esauth) $(esurl)"

            image: centos:7.9.2009
            imagePullPolicy: IfNotPresent
            name: conjob
            resources: {}
            terminationMessagePath: /dev/termination-log
            terminationMessagePolicy: File
            volumeMounts:
            - mountPath: /etc/localtime
              name: host-time
              readOnly: true
          dnsPolicy: ClusterFirst
          restartPolicy: Never
          schedulerName: default-scheduler
          securityContext: {}
          serviceAccount: default
          serviceAccountName: default
          terminationGracePeriodSeconds: 30
          volumes:
          - hostPath:
              path: /etc/localtime
              type: ""
            name: host-time
  startingDeadlineSeconds: 30
  successfulJobsHistoryLimit: 5
  suspend: false
---

@土豆
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
es数据定时清理_elasticsearch索引自动清理
weixin_39927861的博客
12-20 3756
一 es 基本操作查看所有的索引文件：curl -XGET http://localhost:9200/_cat/indices?vGET /_cat/indices?vDELETE/filebeat-2018.07.21二挂crontab定时删es数据#!/bin/bash# filename:deleteEsData.sh# 每天2点定时删除es中指定日期的数据# crontab:0 2 ...
Elasticsearch清理历史索引笔记
独行侠梦的博客
04-30 1853
前言 es用作海量数据和存储和检索，对于较大日志数据，如果全部存储在一个索引中， 像数据库表一样，久而久之，检索查询会越来越慢，服务器压力也大。无论是按天分索引、还是按月份索引，一般建立索引的时候都带上时间。 很明确的说，已经超过一定期限的索引，应该是不会再写入新数据了，可以强制进行合并压缩，设置只读等。 对于搜索来说，合并的分片越少，查询和排序越快（想象一下深度分页。。。） 我们的文档存储在分...
ElasticSearch+Spark 构建高相关性搜索服务，千人千面推荐系统
10-13
ElasticSearch+Spark 构建高相关性搜索服务&千人千面推荐系统
elasticsearch 如何清理过期的数据
y_zilong的博客
11-23 9624
使用elasticsearch收集日志进行处理，时间久了，很老的数据就没用了并且占用很大的磁盘，这个时候就要对过期数据进行清理 删除elasticsearch数据分为两种：一种是删除索引（数据和表结构同时删除，作用同sql server 中 drop table "表格名"），另一种是删除数据（不删除表结构，作用同 sql server中delete 语句） 1、删除索引 #查询索引 [root@ecloud-elk-05 opt]# curl -u zhanghao:mima -XGET 'htt
go实现es数据清理工具
最新发布
sre救赎之路
05-13 703
这里的Data是包含了ES服务地址等信息，我们后面会给出Data的数据结构。可以看到索引数据都是以日期结尾，我们可以根据日期去匹配索引数据，并对索引进行删除。这里需要考虑一点，有的Es服务开启了索引保护机制，不能通过。我们根据当前时间-保留天数，获取当前需要删除的日期数据。4、工具友好性，我们可以通过配置文件配置ES服务地址、日期格式化类型、保留天数等信息。3、通过字符串匹配，判断索引中是否包含要删除的日期，如果包含则进行删除。要获取Es服务中全部索引数据，我们首先连接Es服务器，这里我们使用。
ES增删改查以及常用操作
火星coder的博客
10-27 1万+
es增删改查以及常用操作
ElasticSearch删除索引中的数据（delete_by_query）
热门推荐
IT之一小佬的博客
04-17 1万+
ElasticSearch删除索引中的数据（delete_by_query）
脚本文件实现elasticsearch集群定时删除7天前索引数据
fengzhimohan的博客
11-06 3536
elasticsearch定时删除7天前索引数据的步骤： 1.新建sh脚本文件 项目中elasticsearch集群有两台服务器，分别为126和127,选择127服务器新建sh脚本文件。 es_index_delete.sh脚本文件内容如下： #!/bin/bash #es_index_delete.sh LAST_DATA=`date -d "-7 days" "+%Y-%m-%d"` cur...
ES自动删除30天以前日志
dw_wendy的博客
12-28 1348
#!/bin/bash #description: Clear 30 days ago! ##ES日志清理## source /etc/profile ES_ip=x.x.x.x #定义删除30天以前的函数 del_log(){ check_day=`date -d '-30 days' '+%F'` index_day=$1 #将日期转换为时间戳 checkday_timestamp=`date -d "$check_day" +%s` indexday_times
elasticsearch-job-console.zip
12-30
在实际应用中，Elasticsearch-Job-Console 可能会与 Elasticsearch 的其他组件，如 Logstash（数据收集和预处理）、Kibana（数据可视化）等一起使用，构建一个完整的 ELK（Elasticsearch, Logstash, Kibana）堆栈，...
实时数据仓库2....[付空].1551235212.pdf
08-20
数据仓库是一个设计用于特定主题、集成了不同来源的数据、保持数据稳定性并记录历史变化的数据集合，它的核心目标是支持企业的管理决策。 在传统的数据仓库中，数据通常通过离线的ETL（抽取、转换、加载）过程从...
由 bboss 开源的数据采集&流批一体化工具，提供数据采集、数据清洗转换处理和数据入库以及数据指标统计计算流批一体化处理功能
06-08
完成清洗和转换后，bboss-datatran 可以将处理后的数据加载到不同的存储系统，如Hadoop HDFS、Hive、HBase、Elasticsearch、Greenplum、Oracle等。这为用户提供了灵活的数据存储选择，并且支持数据分片、分区策略，...
基于SpringBoot+ElasticSearch+vue.js+Java开发的大数据营销系统.zip
02-22
《基于SpringBoot+ElasticSearch+Vue.js+Java开发的大数据营销系统》是一个综合性的项目，旨在利用现代Web技术和大数据分析工具构建一个高效、灵活且可扩展的营销平台。这个项目结合了后端开发、前端展示以及数据...
ELK整合：ElasticSearch定期删除过期数据
xiatiandexiangrikui的博客
02-26 8035
ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。 Elasticsearch：日志分布式...
ES定期删除数据实现
OliverCaro的博客
01-04 1495
创建清理脚本 vim es-index-clear.sh #/bin/bash #只保留30天内的日志索引 LAST_DATA=`date -d "-30 days" "+%Y.%m.%d"` #删除30天前的索引 curl -XDELETE 'http://ip:port/*-'${LAST_DATA} 添加定时任务 #编辑crontab文件，添加相应的任务 vim /et...
Shell 脚本定时清理elasticsearch的数据
技术札记
07-04 3034
前段时间系统在做压力测试，所以导致日志量巨大，几乎每个小时将两台 日志服务器的硬盘(共140G)撑爆,所以需要写个定时脚本清理数据，在此记录一下 编写脚本 vi /home/duhj/clear.sh #!/bin/sh curl -XDELETE 'http://192.169.13.59:9200/cib_log*' 设置定时任务 crontab -e 写入 */5...
Elastic search 数据定时删除
40kuai的博客
12-04 1038
使用curl来请求es服务，定时删除es数据。 #/bin/bash #指定日期(7天前) #DATA=`date -d "1 week ago" +%Y.%m.%d` DATA=`date -d "-7days" +%Y.%m.%d` #当前日期 time=`date` #删除7天前的日志 curl -XDELETE http://172.16.32.222:9200/*-${DATA} ...
ES性能优化实战，几十亿数据查询 3 秒返回！
xmt1139057136的专栏
11-27 1296
在此篇幅中偏重于 ES 的优化，关于 HBase，Hadoop 的设计优化有很多文章可以参考，不再赘述。需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分...
清理ElasticSearch所有数据
05-25
如果你想清除 Elasticsearch 中的所有数据，可以使用以下命令： ``` curl -X DELETE 'http://localhost:9200/*' ``` 这将删除 Elasticsearch 中的所有索引和相关数据。请注意，这是不可逆的操作，因此请谨慎使用。建议在执行此命令之前备份所有数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值