使用Curator删除旧的Elasticsearch索引

我们在生产系统中大量使用ELK堆栈进行日志聚合和监视。

我们每天生成的日志大小约为100GB。由于我们不打算将日志文件保存在ELK中超过一个月，因此删除这些索引以释放磁盘空间变得很重要。

幸运的是，默认情况下，Logstash每天都会创建一个新索引。

因此，我们可以要求Curator删除x天前且遵循特定命名模式的索引。

安装Curator

简单易用pip install elasticsearch-curator，可在您的计算机上安装Curator。我更喜欢将其安装在Elasticsearch机器本身上。

配置Curator

创建一个curator.yml包含以下内容的文件。

---

client:

  hosts:

    - 127.0.0.1

  port: 9200

  url_prefix:

  use_ssl: False

  certificate:

  client_cert:

  client_key:

  ssl_no_validate: False

  http_auth:

  timeout: 30

  master_only: False

 

logging:

  loglevel: INFO

  logfile:

  logformat: default

  blacklist: ['elasticsearch', 'urllib3']

现在，我们需要定义一个动作。即Curator将做什么。有很多动作可供选择。查看文档以获取更多信息

别名

分配

关

集群路由

创建索引

删除指数

删除快照

打开

强制合并

复制品

恢复

快照

对于此讨论，我们将使用它Delete Indices作为操作，因为这是我们想要做的。

以下是示例操作文件delete_indices.yml，该文件将删除10天以上的logstash索引。

---

actions:

  1:

    action: delete_indices

    description: >-

      Delete indices older than 45 days (based on index name), for logstash-

      prefixed indices. Ignore the error if the filter does not result in an

      actionable list of indices (ignore_empty_list) and exit cleanly.

    options:

      ignore_empty_list: True

      timeout_override:

      continue_if_exception: False

      disable_action: False

    filters:

    - filtertype: pattern

      kind: prefix

      value: logstash-

      exclude:

    - filtertype: age

      source: name

      direction: older

      timestring: '%Y.%m.%d'

      unit: days

      unit_count: 10

      exclude:

要运行此操作，只需使用以下命令

curator ./delete_index.yml --config ./curator.yml --dry-run

2017-04-09 17:27:46,075 INFO      Preparing Action ID: 1, "delete_indices"

2017-04-09 17:27:46,080 INFO      Trying Action ID: 1, "delete_indices": Delete indices older than 45 days (based on index name), for logstash- prefixed indices. Ignore the error if the filter does not result in an actionable list of indices (ignore_empty_list) and exit cleanly.

2017-04-09 17:27:46,538 INFO      DRY-RUN MODE.  No changes will be made.

2017-04-09 17:27:46,538 INFO      (CLOSED) indices may be shown that may not be acted on by action "delete_indices".

2017-04-09 17:27:46,538 INFO      Action ID: 1, "delete_indices" completed.

2017-04-09 17:27:46,538 INFO      Job completed.

该--dry-run模式实际上不会删除索引。它可以用来测试动作的输出。

如果您想将其安排在一个cron中，可以使用 crontab -e

00 8 * * * root curator /path/delete_index.yml --config /path/curator.yml

上述配置将每天早上8点清除早于10天的索引。