Kafka、Elasticsearch、Kibana配置及启动

下载

1. 下载最新安装包（kafka_2.12-2.5.0.tgz），二进制包；
   下载链接

启动zookeeper

参考链接

配置启动

1. 解压缩，进入 \kafka_2.12-2.5.0 文件夹， 新建 logs 文件夹，再进入 \kafka_2.12-2.5.0\config 文件夹，修改 server.properties 文件如下；

   log.dirs=E:\kafka_2.12-2.5.0\logs
   

2. 再 \kafka_2.12-2.5.0 文件夹，执行以下命令启动；

   .\bin\windows\kafka-server-start.bat .\config\server.properties
   

3. 启动成功
   

Elasticsearch

1. 启动

   cd E:\elastic\7.7.1\bin
   .\elasticsearch.exe
   

Kibana

1. 启动

   cd E:\kibana-7.7.1-windows-x86_64\kibana-7.7.1-windows-x86_64\bin
   .\kibana.bat
   

Logstash

1. 复制 config 文件夹下 logstash-simple.conf 文件至 bin 文件夹，修改内容如下；

   # Sample Logstash configuration for creating a simple
   # kafka-> Logstash -> Elasticsearch pipeline.
   
   input {
     kafka {
         topics => ["applog"]
         bootstrap_servers => "localhost:9092"
         codec => "json"
       }
   }
   
   output {
     elasticsearch {
       hosts => ["http://localhost:9200"]
       index => "kafka-log-%{+YYYY.MM.dd}"
     }
   }
   

2. 启动命令

   cd E:\logstash-7.8.0\bin
    .\logstash.bat -f .\logstash.conf