ELK错误1_Kafka->Logstash->Elasticsearch过程,Elasticsearch报grokparsefailure错误

实验背景:

Kafka->Logstash->Elasticsearch实验环境安装完成;

Logstash的启动文件设置有过滤机制;

Logstash启动文件:

input {
kafka {
  zk_connect => "10.10.16.252:2181,10.10.16.253:2181,10.10.16.249:2181"
  group_id => "test-consumer-group"
  topic_id => "MyPattern"
  reset_beginning => false # boolean (optional), default: false
  consumer_threads => 5  # number (optional), default: 1
  decorate_events => true # boolean (optional), default: false
  }
}
filter{
  
  grok{
  
     patterns_dir => "./patterns"
     match => { "message" => ["#字段内容#"]}
  }

}


output {
   
   if "jsonparsefailure" not in [tags]{
    
      elasticsearch{
 
         host => "localhost"
     }
   }
}

发送数据的代码如下所示:

package com.test.kafka;

import java.util.Properties;
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;

public class KafkaProduce {

	public static void main(String[] args) {

		 Properties props = new Properties();
		 props.setProperty("metadata.broker.list","10.10.16.253:9092,10.10.16.252:9092,10.10.16.249:9092");   
		 props.setProperty("serializer.class","kafka.serializer.StringEncoder");
		 props.put("request.required.acks","-1");		  
		 ProducerConfig config = new ProducerConfig(props); 
		 
		 Producer<String,String> producer = new Producer<String, String>(config);
		 KeyedMessage<String, String> data = new KeyedMessage<String,String>("MyPattern","数据内容");
		 				 
		 producer.send(data);
		 
		 producer.close();
	}
}



发送给Logstash后,使用ES搜索,开始时,报一下错误:

发送第一个红框内的数据,结果报第二个红框内的错误。

寻找错误,经过对比,发现,代码中“数据内容”的字段比配置文件中“数据内容”中的字段少一个,所以报错。

改正,重新进行实验,结果正确。

进行验证:

字段对应,则正确;代码中少一个字段,则报上面的错。

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页