Kafka-＞logstash_kafka->logstash->elasticsearch->kibana-CSDN博客

本文链接：https://blog.csdn.net/a2455069943/article/details/125632896

三种方案
Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序)
Kafka->kafka-connect-elasticsearch->elasticsearch->kibana(与confluent绑定紧，有些复杂) https://github.com/confluentinc/kafka-connect-elasticsearch
Kafka->elasticsearch-river-kafka-1.2.1-plugin->elasticsearch->kibana(代码很久没更新，后续支持比较差)
本文将采用方案一来完成这一伟大目标

日志写到kafka
首先，是先要向kafka中写入日志,对于0.9+以上版本的kafka，我们可以采用如下配置方式。

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-log4j-appender</artifactId>
<version>0.10.2.1</version>
</dependency>
1
2
3
4
5
github上有开源的logback-kafka-appender提供。
对于早于该版本的kafka，可以直接使用kafka包中的KafkaLog4jAppender。其他日志方式类似。初始化logger的用法如下

static {
KafkaLog4jAppender kafkaAppender = new KafkaLog4jAppender();
kafkaAppender.setBrokerList(ConfigService.getAppConfig().
getProperty("log4j.appender.kafkalog.brokerList", ipListStr));
kafkaAppender.setTopic(logTopicName);
kafkaAppender.setCompressionType("gzip");
kafkaAppender.setSyncSend(false);
kafkaAppender.setLayout(new PatternLayout("%p@@log@@%d{yyyy-MM-dd@@HH:mm:ss}@@%m%n"));
kafkaAppender.activateOptions();
tripLogger.addAppender(kafkaAppender);
tripLogger.setLevel(Level.INFO);
}
1
2
3
4
5
6
7
8
9
10
11
12
kafka对接ES
修改配置如下.ES提供REST访问的9200端口。

input {
kafka {
bootstrap_servers => ["10.237.64.46:9094"]
group_id => "es-transfer"
topics => ["JSON_PRODUCE_TOPIC"]
consumer_threads => 5
decorate_events => true
codec => "json"
}
}
output {
elasticsearch {
hosts => ["10.5.145.101:9200"]
index => "test_kafka"
codec => "json"
}
}