我们经常会遇到这样的需求,即日志只保留一定天数,过期的删除。当然如果你存储无限大,请忽略此文。
注:以下会用到Date math。
1. 使用Delete By Query API
不靠谱
Delete By Query API可以搜索文档并删除。使用这种方法,就是所有日志都在一个index里,然后搜索过期的日志并删除。例如:
POST twitter/_delete_by_query
{
"query": {
"range" : {
"@timestamp" : {
"lt" : "now-30d/d"
}
}
}
}
虽然可以,但却存在以下问题:
1. 搜索会造成额外的性能消耗,尤其是日志量大的时候;
2. 30天的日志都在一个index里,影响性能。
2. 使用Rollover
Rollover Index通过别名的方式生成带序号的index。例如:
# PUT /<logs-{now/d}-000001> with URI encoding:
PUT /%3Clogs-%7Bnow%2Fd%7D-000001%3E
{
"aliases": {
"logs_write": {}
}
}
# Add 1000+ doc, or run the next day
POST /logs_write/_rollover
{
"conditions": {
"max_age": "1d",
"max_docs": 1000
}
}
这个方法的原理其实是:
1. 新建一个带当天日期及序号的indexlogs-2017.06.18-000001
;
2. 为这个index指定一个别名logs_write
;
3. 检查logs_write
所指的index是否满足rollover的条件,满足则新建下一个index,并将别名改为指向新的index;
4. 因当天文档数超导致新建下一个index,序号+1,即logs-2017.06.18-000002
;
5. 因过了一天导致新建下一个index,日期+1,序号+1,即logs-2017.06.19-000002
;
6. logs_write
永远指向最新的index,所以写入日志可以不考虑index的序号,永远写入logs_write
即可。
注意!POST /logs_write/_rollover
这个动作,并不是ElasticSearch内建的定时机制!也就是说,除非你定期执行POST /logs_write/_rollover
,否则当前的index即使过期了或者文档数超了,也不会rollover。
3. 使用Date Math
第2章的方法是一个万能的方法,用于解决已有index的日期化问题。如果是全新的index,则更为简单,直接向带Date Math的index提交文档即可,例如:
# PUT /<logs-{now/d}> with URI encoding:
PUT /%3Clogs-%7Bnow%2Fd%7D%3E
{ "key": "value" }
如果是logstash提交的日志,相应配置如下:
output {
elasticsearch {
hosts => ["127.0.0.1"]
index => "logs-%{+YYYY.MM.dd}"
document_type => "logs_type"
}
}
这样就能自动按日生成index。注意,这里日期格式必须为YYYY.MM.dd
才能得到我们常用的形如2017.06.26这样的日期,YYYY.mm.dd
或YYYY.MM.DD
都不行。
4. 删除过期日志
两种方法删除过期日志的方法都非常简单,写个计划任务定期执行即可。例如:
# DELETE /<logs-{now-30d/d}*> with URI encoding:
DELETE /%3Clogs-%7Bnow-30d%2Fd%7D*%3E
而且与Delete By Query
相比,直接删除整个index的方法非常快。