springboot下基于elasticsearch、kibana、logstash、zookeeper、kafkalogback搭建的简易日志系统---个人学习记录

一、参考博客

• logback日志搭建/学习：https://www.jianshu.com/p/f67c721eea1b
• logback日志输出到kafka：https://blog.csdn.net/nandao158/article/details/121169230
• elasticsearch：尚硅谷教程
• kafka安装与启动：https://blog.csdn.net/weixin_43589025/article/details/116274815
• logstash官方教程：https://elasticstack.blog.csdn.net/?type=blog 搜索logstash入门教程
• kafka和zookeeper：尚硅谷教程

二、使用技术

• 技术：elasticsearch（7.17.14）+ kibana（7.17.14） + logstash（7.17.14）（elk） + zookeeper（3.9.1） + kafka（kafka_2.13-3.6.0） + logback （springboot中自带）
• List item

项目：springboot

三、流程

1. 搭建完所有组件
2. 启动elasticsearch，直接点击bin/elasticsearch启动；验证端口：9200
3. 启动kibana，直接点击bin/kibana；验证端口：5601
4. 启动logstash： 端口：5400
   a、bin下创建kafka-logback.conf文件，内容：

input {
  kafka {
    bootstrap_servers => "localhost:9092"
    topics => ["applog-nd"]
    group_id => "logstash"
    codec => "json"
  }
}
 
output {
  elasticsearch {
    hosts => ["${ES_HOST}"]
    user => "${LS_USER}"
    password => "${LS_PWD}"
    index => "logstash-data"
  }
}

b.启动命令：bin/logstash -f kafka-logback.conf；

5. 启动zookeeper：bin/zkServer.sh start；
   

6. 启动kafka：bin/kafka-server-start.sh config/server.properties
   

四、kibana查看结果

1、在kafka-logback.conf中配置的elasticsearch的index应该在kibana中可以查看到

2、在Discover中可以根据特定索引搜索数据