elasticsearch重复采集问题

公司刚上elk，filebeat----logstash----elasticsearch 这种架构，目前nginx每天日志量不到100w,所以没有添加消息队列.进行测试的时候发现：每次重启logstash或者elasticsearch（模拟异常或者停 机维护）,日志会有重复采集的情况。脚本测试每秒写入1000条日志到一个文件（filebeat进行采集），持续时间120s;测试了3-4次，每次重启logstash或者 elasticsearch，日志总条数都大于120000，基本都会多上千条。
查询官网文档后给出了一个解决方法：用户自定义文档id,如果索引中无 相同id的文档，执行insert；有相同id文档，则执行update
1，nginx做如下修改，nginx 日志json格式增加
"request_id":"$request_id"
#nginx版本大于1.11.0
2， logstash

        output {
             elasticsearch {
                hosts => "example.com"
                  document_id => "%{request_id}"
           } 
      }

参考文献：https://www.jianshu.com/p/5e103e1eb017
参考文献：https://www.elastic.co/blog/logstash-lessons-handling-duplicates

转载于:https://blog.51cto.com/emulator/2091827