Flink项目开发记录之将日志输出到kafka

Flink项目开发记录之将日志输出到kafka

老规矩，我们先上传所需要的jar包

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.11.0.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-log4j-appender</artifactId>
            <version>2.0.1</version>
        </dependency>
       <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.9.1</version>
        </dependency>
       <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.9.1</version>
        </dependency>

重点是log4j的配置文件

log4j.debug=true
log4j.rootLogger=INFO,console,kafka
## appender console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d (%t) [%p - %l] %m%n

## appender kafka
log4j.appender.kafka=org.apache.kafka.log4jappender.KafkaLog4jAppender
log4j.appender.kafka.topic=pktest
log4j.appender.kafka.brokerList=集群地址和端口 比如10.10.10.10:6667,10.10.10.12:6667


log4j.appender.kafka.compressionType=none
log4j.appender.kafka.syncSend=false
log4j.appender.kafka.layout=org.apache.log4j.PatternLayout
log4j.appender.kafka.ThresholdFilter.level=INFO
log4j.appender.kafka.ThresholdFilter.onMatch=ACCEPT
log4j.appender.kafka.ThresholdFilter.onMismatch=DENY

log4j.appender.kafka.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L %% - %m%n

# for package com.demo.kafka, log would be sent to kafka appender.
log4j.logger.kafka=WARN,stdout,E
log4j.logger.org.apache.kafka=WARN,stdout,E
log4j.logger.org.apache.zookeeper=WARN,stdout,E
log4j.logger.org.I0Itec.zkclient=WARN,stdout,E

配置文件中的
其实十分重要，之前我调试了很久，在KafkaLog4jAppender这个类中打了断点，一直会卡在kafka的send方法中，无法执行，加上这个配置之后就行了，思考了一下应该是因为之前的是appender的配置，包括kafka的集群地址和topic等，但是后面的配置应该是程序中的日志配置，需要将什么日志推送过去，也就是send的 message参数 ，如果不配置的话 是无法发送数据的，也就一直卡在send那边了，坑点就是也不报错！

下面是我随意写的一个测试代码

def main(args: Array[String]): Unit = {
    for(i <- 0 to 100) {
      logger.info("trace:This is Message [" + i + "] from log4j producer .. ");
    }
  }

控制台输出结果：

linux上的输出结果（最新的一次消费者关闭了，直接截图的前面测的一次）：

至此，flink的项目的日志也就可以输出到kafka中啦

题外话：为什么要做日志到kafka呢，因为我们项目是部署在k8s上，k8s集群中跑了不止一个flink项目，但是容器中的项目日志是直接打印在容器里的，这就导致了我们的好几个项目日志全部打印到一起去了，所以配置日志输出到kafka中，可后续做其他的处理