ElasticSearch按日生成index的两种方法

我们经常会遇到这样的需求，即日志只保留一定天数，过期的删除。当然如果你存储无限大，请忽略此文。
注：以下会用到Date math。

1. 使用Delete By Query API不靠谱

Delete By Query API可以搜索文档并删除。使用这种方法，就是所有日志都在一个index里，然后搜索过期的日志并删除。例如：

POST twitter/_delete_by_query
{
    "query": {
        "range" : {
            "@timestamp" : {
                "lt" :  "now-30d/d"
            }
        }
    }
}

虽然可以，但却存在以下问题：
1. 搜索会造成额外的性能消耗，尤其是日志量大的时候；
2. 30天的日志都在一个index里，影响性能。

2. 使用Rollover

Rollover Index通过别名的方式生成带序号的index。例如：

# PUT /<logs-{now/d}-000001> with URI encoding:
PUT /%3Clogs-%7Bnow%2Fd%7D-000001%3E
{
  "aliases": {
    "logs_write": {}
  }
}
# Add 1000+ doc, or run the next day
POST /logs_write/_rollover 
{
  "conditions": {
    "max_age":   "1d",
    "max_docs":  1000
  }
}

这个方法的原理其实是：
1. 新建一个带当天日期及序号的indexlogs-2017.06.18-000001；
2. 为这个index指定一个别名logs_write；
3. 检查logs_write所指的index是否满足rollover的条件，满足则新建下一个index，并将别名改为指向新的index；
4. 因当天文档数超导致新建下一个index，序号+1，即logs-2017.06.18-000002；
5. 因过了一天导致新建下一个index，日期+1，序号+1，即logs-2017.06.19-000002；
6. logs_write永远指向最新的index，所以写入日志可以不考虑index的序号，永远写入logs_write即可。
注意！POST /logs_write/_rollover这个动作，并不是ElasticSearch内建的定时机制！也就是说，除非你定期执行POST /logs_write/_rollover，否则当前的index即使过期了或者文档数超了，也不会rollover。

3. 使用Date Math

第2章的方法是一个万能的方法，用于解决已有index的日期化问题。如果是全新的index，则更为简单，直接向带Date Math的index提交文档即可，例如：

# PUT /<logs-{now/d}> with URI encoding:
PUT /%3Clogs-%7Bnow%2Fd%7D%3E
{ "key": "value" }

如果是logstash提交的日志，相应配置如下：

output {
    elasticsearch {
        hosts => ["127.0.0.1"]
        index => "logs-%{+YYYY.MM.dd}"
        document_type => "logs_type"
    }
}

这样就能自动按日生成index。注意，这里日期格式必须为YYYY.MM.dd才能得到我们常用的形如2017.06.26这样的日期，YYYY.mm.dd或YYYY.MM.DD都不行。

4. 删除过期日志

两种方法删除过期日志的方法都非常简单，写个计划任务定期执行即可。例如：

# DELETE /<logs-{now-30d/d}*> with URI encoding:
DELETE /%3Clogs-%7Bnow-30d%2Fd%7D*%3E

而且与Delete By Query相比，直接删除整个index的方法非常快。