从零构建ELK日志分析平台:Java通用日志组件

项目目标

构建一个通用的Java日志组件,完成sl4j日志写入kafka,项目github地址

项目介绍

核心maven依赖

• logstash-logback-encoder

  <dependency>
       <groupId>net.logstash.logback</groupId>
       <artifactId>logstash-logback-encoder</artifactId>
       <version>4.11</version>
   </dependency>
  

  完成日志信息序列化为json,方便logstash进行解析.
• logback-kafka-appender

  <dependency>
      <groupId>com.github.danielwegener</groupId>
      <artifactId>logback-kafka-appender</artifactId>
      <version>0.1.0</version>
  </dependency>
  

  将logstash-logback-encoder序列化成json后的日志发送到kafka
• janino

  <dependency>
      <groupId>org.codehaus.janino</groupId>
      <artifactId>janino</artifactId>
      <version>3.0.6</version>
  </dependency>
  

  用于支持logback.xml中进行表达式逻辑计算

logback-boot.xml

logback-boot.xml用于支撑springboot项目进行快速日志配置.

• kafkaAppender重要配置

  标签	值	用途
  includeMdcKeyName	TID	包含mdc中的设置的TID信息,用于进行一次请求或一个小任务追踪.
  customFields	system	自定义system字段,用于区分不同系统的日志
  keyingStrategy	HostNameKeyingStrategy	主机名策略,保证一个主机的日志写入一个kafka分区,保证日志顺序

logback-base.xml

logback-base.xml用于支撑非springboot项目进行快速日志配置.

项目主要控制参数

• log.stdout.disable=true
  是关闭控制台日志输出[true|false],默认false

• log.base-path=D://logs
  文件日志根路径,只要配置了根路径就会开启文件日志.
  完整路径为 $log.base-path/${log.kafka.system}/{yyyy-mm-dd}.log

• log.kafka.bootstrap-servers=192.168.1.14:9092
  日志写入kafka的服务器地址,只要配置此属性,便会开启日志写入kafka

• log.kafka.topic=log_kafka_dev
  日志写入kafka主题名

• log.kafka.system=logback-kafka-demo
  应用名称,用于标识文件路径以及es中的索引名称