三种方案
Kafka->logstash->elasticsearch->kibana(简单,只需启动一个代理程序)
Kafka->kafka-connect-elasticsearch->elasticsearch->kibana(与confluent绑定紧,有些复杂) https://github.com/confluentinc/kafka-connect-elasticsearch
Kafka->elasticsearch-river-kafka-1.2.1-plugin->elasticsearch->kibana(代码很久没更新,后续支持比较差)
本文将采用方案一来完成这一伟大目标
日志写到kafka
首先,是先要向kafka中写入日志,对于0.9+以上版本的kafka,我们可以采用如下配置方式。
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-log4j-appender</artifactId>
<version>0.10.2.1</version>
</dependency>
1
2
3
4
5
github上有开源的logback-kafka-appender提供。
对于早于该版本的kafka,可以直接使用kafka包中的KafkaLog4jAppender。其他日志方式类似。初始化logger的用法如下
static {
KafkaLog4jAppender kafkaAppender = new KafkaLog4jAppender();
kafkaAppender.setBrokerList(ConfigService.getAppConfig().
getProperty("log4j.appender.kafkalog.brokerList", ipListStr));
kafkaAppender.setTopic(logTopicName);
kafkaAppender.setCompressionType("gzip");
kafkaAppender.setSyncSend(false);
kafkaAppender.setLayout(new PatternLayout("%p@@log@@%d{yyyy-MM-dd@@HH:mm:ss}@@%m%n"));
kafkaAppender.activateOptions();
tripLogger.addAppender(kafkaAppender);
tripLogger.setLevel(Level.INFO);
}
1
2
3
4
5
6
7
8
9
10
11
12
kafka对接ES
修改配置如下.ES提供REST访问的9200端口。
input {
kafka {
bootstrap_servers => ["10.237.64.46:9094"]
group_id => "es-transfer"
topics => ["JSON_PRODUCE_TOPIC"]
consumer_threads => 5
decorate_events => true
codec => "json"
}
}
output {
elasticsearch {
hosts => ["10.5.145.101:9200"]
index => "test_kafka"
codec => "json"
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
启动导数程序如下
sh ./bin/logstash -f ./config/kafka-logstash-es.conf
1
————————————————
版权声明:本文为CSDN博主「define_us」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/define_us/article/details/81903268