filebeat-kafka-logstash-elasticsearch日志收集[中文时区问题、自己创建type类index] ...

logstash配置文件如下：

点击(此处)折叠或打开

1. input{
   
2.     kafka{
   
3.         bootstrap_servers => "xxxx:9092,xxxx:9092,dw72.xxxx.:9092,...."
   
4.         group_id => "xxxx_service_server_logstash"
   
5.         topics => ["xxxx_service_server_error", "xxxx_service_server_runtime"]
   
6.         auto_offset_reset => latest
   
7.             codec => "json"
   
8.         consumer_threads => 10
   
9.         auto_commit_interval_ms => 500
   
10.     }
    
11. }
    
12. 
    
13. filter {
    
14.         grok {
    
15.                 #patterns_dir => ["./patterns"]
    
16.                 match => {
    
17.                         "message" => "%{TIMESTAMP_ISO8601:logdatetime}"
    
18.                 }
    
19.         }
    
20.         date {
    
21.                 match => [ "logdatetime", "yyyy-MM-dd HH:mm:ss"]
    
22.                 target => "@timestamp"
    
23. # timezone => "Asia/Shanghai"
    
24.                 timezone => "+00:00"
    
25.                 locale => "en"
    
26.         }
    
27. }
    
28. 
    
29. output{
    
30.         elasticsearch{
    
31.             hosts => ["192.168.1.89:9200"]
    
32.                 action => "index"
    
33.             index => "%{[type]}-%{+YYYY.MM.dd}"
    
34.             flush_size => 8000
    
35.         }
    
36. }

主要关注两个问题：
1.event的timestamp问题，中国区会显示比实际的时间早8个小时（一般不建议修改时间，国际标准，在kibana中做处理。），这里只有国内的服务器，显示为区域时间比较好看，所以我就改了。
2.es 的index根据filebeat中的document_type自动创建index。