Flume收集日志(logback)--》 kafka缓冲队列--》永久存储mongodb (三)
关键字:log4j、Kafka、KafkaLog4jAppender
转载地址:http://lxw1234.com/archives/2015/11/571.htm
很多应用程序使用Log4j记录日志,如何使用Kafka实时的收集与存储这些Log4j产生的日志呢?一种方案是使用其他组件(比如Flume,或者自己开发程序)实时监控这些日志文件,然后发送至Kafka。而另外一种比较便捷的方案是使用Kafka自带的Log4jAppender,在Log4j配置文件中进行相应的配置,即可完成将Log4j产生的日志实时发送至Kafka中。
本文以Kafka0.8.2为例,介绍KafkaLog4jAppender的配置方法:
log4j.properties文件内容如下:
注意:KAFKA appender的配置参数,和Kafka版本有关,具体参数可参考kafka.producer. KafkaLog4jAppender中的定义。
一个使用了Log4j记录日志的Java Application Demo:
先启动Kafka自带的consumer模拟脚本,消费Topic lxw1234的消息:
再运行上面的Java Demo程序,控制台打印的内容:
在Consumer控制台打印消费的消息:
如图所示,KafkaLog4jAppender已经将消息正常发送至Kafka。
您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。
如果觉得本博客对您有帮助,请 赞助作者 。
转载请注明:lxw的大数据田地 » 使用Log4j将程序日志实时写入Kafka
-
log4j.appender.kafka.syncSend=true 这个比较担心 ,加入kafka 挂掉,同步发送失败,业务进程会不会崩溃? false 选项表示嘛意思?有没有比如1M的缓冲队列,发送不成功的就丢弃?
-
使用 KafkaLog4jAppender 不需要引入额外的包吗?
-
查了下,应该要引入一下依赖 org.apache.kafka hadoop-producer 0.8.0
-