将kafka数据导入Elasticsearch

最新推荐文章于 2024-07-02 12:52:10 发布

suphieLiang

最新推荐文章于 2024-07-02 12:52:10 发布

阅读量7.1k

点赞数

分类专栏： elasticsearch kafka 文章标签： elasticsearch kafka

本文链接：https://blog.csdn.net/suphieLiang/article/details/78668096

版权

本文介绍了如何通过Logstash 6.0.0将Kafka中的数据实时导入到Elasticsearch，并最终在Kibana中进行可视化。首先，下载并解压Logstash，然后在config目录下创建配置文件kafka-logstash-es.conf。配置文件内容涉及Kafka输入和Elasticsearch输出插件的设置。接着，使用命令启动Logstash。在数据成功写入Kafka后，可以通过Kibana查看和分析这些数据。

摘要由CSDN通过智能技术生成

基于当前最新版本logstash 6.0.0 不同版本的logstash输入输出语法略有不同。
Kafka->logstash->elasticsearch->kibana
下载logstash并解压
进入logstash/config目录新建文件 kafka-logstash-es.conf
编写文件kafka-logstash-es.conf
这里写图片描述

input {    //日志写入的数据源
    kafka {
        bootstrap_servers => ["ip:9092"]  //kafka broker
        group_id => "1"   
        topics => ["test-kafka-elasticsearch"]    //kafka topic
        consumer_threads => 5