通过log4j,logback写日志到kafka

写在前面

随着微服务的普及，如何查看系统日志快速排查问题就是一个亟待解决的问题了，此时我们可以考虑使用kafka来统一收集日志，再结合ELK等查看日志，本文就一起来看下如何直接使用日志插件来完成日志写入工作。

需要kakfa服务，安装可以参考这篇文章，对Java日志体系不熟悉的可以参考这篇文章 。

1：log4j

配置一个卡夫卡的appeder，如下：

log4j.rootLogger=info, S, KAFKA
#log4j.rootLogger=info, S

log4j.appender.S=org.apache.log4j.DailyRollingFileAppender
log4j.appender.S.File=${catalina.home}/logs/tomcat.log
log4j.appender.S.DatePattern='.'yyyy-MM-dd-HH'.log'
log4j.appender.S.encoding=GBK
#log4j.appender.DailyRollingFile.Append=true
log4j.appender.S.layout=org.apache.log4j.PatternLayout
log4j.appender.S.layout.ConversionPattern= portal [%d{yyyy-MM-dd HH\:mm\:ss}]%-5p %c(line\:%L) %x-%m%n

log4j.logger.org.apache.kafka.clients.Metadata = ERROR
log4j.appender.KAFKA=org.apache.kafka.log4jappender.KafkaLog4jAppender
log4j.appender.KAFKA.topic=your-topic-name
#log4j.appender.KAFKA.brokerList=192.168.64.129:9092
log4j.appender.KAFKA.brokerList=172.17.72.175:9092
log4j.appender.KAFKA.compressionType=none
log4j.appender.KAFKA.syncSend=false
log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout
log4j.appender.KAFKA.layout.ConversionPattern=portal %-5p %d{yyyy-MM-dd HH:mm:ss}  %c{1}:%L %% - %m%n

log4j.appender.KAFKA.topic对应的就是kakfa要写入的主题名称，log4j.appender.KAFKA.brokerList是配置kafka的地址列表，这样当通过log API打日志时，就会将日志自动写到kafka对应的主题中了，另外需要注意将log4j.appender.KAFKA.syncSend=false设置异步写入kafka，不然kafka出现问题的话，会阻塞写日志代码，影响正常业务。

2：logback

logback配置和log4j类似，也是配置对应的appender就可以了，如下配置：

<configuration>
    <property name="app-name" value="xxxxx" />  <!-- 应用系统名称 -->
    <!-- %m输出的信息,%p日志级别,%t线程名,%d日期,%c类的全名,%i索引【从数字0开始递增】,,, -->
    <!-- appender是configuration的子节点，是负责写日志的组件。 -->
    <!-- ConsoleAppender：把日志输出到控制台 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d %p (%file:%line\)- %m%n</pattern>
            <!-- 控制台编码 -->
            <charset>GBK</charset>
        </encoder>
    </appender>
    <!-- RollingFileAppender：滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件 -->
    <!-- 以下的大概意思是：1.先按日期存日志，日期变了，将前一天的日志文件名重命名为XXX%日期%索引，新的日志仍然是sys.log -->
    <!--:             2.如果日期没有发生变化，但是当前日志的文件大小超过1KB时，对当前日志进行分割 重命名-->
    <appender name="applog"
              class="ch.qos.logback.core.rolling.RollingFileAppender">
        <File>log/jianguan.log</File>
        <!-- rollingPolicy:当发生滚动时，决定 RollingFileAppender 的行为，涉及文件移动和重命名。 -->
        <!-- TimeBasedRollingPolicy： 最常用的滚动策略，它根据时间来制定滚动策略，既负责滚动也负责出发滚动 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 活动文件的名字会根据fileNamePattern的值，每隔一段时间改变一次 -->
            <!-- 文件名：log/sys.2017-12-05.0.log -->
            <fileNamePattern>log/jianguan.%d.%i.log</fileNamePattern>
            <!-- 每产生一个日志文件，该日志文件的保存期限为30天 -->
            <maxHistory>30</maxHistory>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <!-- maxFileSize:这是活动文件的大小，默认值是10MB -->
                <maxFileSize>50MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <encoder>
            <!-- pattern节点，用来设置日志的输入格式 -->
            <pattern>
                %d %p (%file:%line\)- %m%n
            </pattern>
            <!-- 记录日志的编码 -->
            <charset>UTF-8</charset> <!-- 此处设置字符集 -->
        </encoder>
    </appender>

    <appender name="kafkaAppender" class="com.github.danielwegener.logback.kafka.KafkaAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!--
            <pattern>${SERVER_NAME} ${NODE_FLAG} %level %date{yyyy-MM-dd HH:mm:ss.SSS} %logger[%line] %msg%n</pattern>
            -->
            <pattern>${app-name} %level %date{yyyy-MM-dd HH:mm:ss.SSS} %logger[%line] %msg%n</pattern>
            <charset>utf8</charset>
        </encoder>
        <topic>your-topic-name</topic>
        <keyingStrategy class="com.github.danielwegener.logback.kafka.keying.NoKeyKeyingStrategy"/>
        <deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy"/>
        <!--注意此处应该是spring boot中的kafka配置属性-->
        <!--<producerConfig>bootstrap.servers=172.17.72.175:9092</producerConfig>-->
        <producerConfig>bootstrap.servers=192.168.64.129:9092</producerConfig>
        　　　　
        <producerConfig>retries=1</producerConfig>
        　　　　
        <producerConfig>batch-size=16384</producerConfig>
        　　　　
        <producerConfig>buffer-memory=33554432</producerConfig>
        　　　　
        <producerConfig>properties.max.request.size==2097152</producerConfig>
    </appender>


    <!-- 控制台输出日志级别 -->
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="kafkaAppender"/>
    </root>
    <logger name="com.workflow" level="INFO">
        <appender-ref ref="applog"/>
    </logger>
    <logger name="org.apache.kafka" level="INFO"/>
</configuration>

其中的appenderkafkaAppender就是kafka的appender，<topic>your-topic-name</topic>是要写入的主题名称,<producerConfig>bootstrap.servers=192.168.64.129:9092</producerConfig>是kafka broker的地址。