Flume之Log4JAppender接收Log4j日志

最新推荐文章于 2022-12-08 16:50:12 发布

qianshanding0708

最新推荐文章于 2022-12-08 16:50:12 发布

阅读量6.4k

点赞数 1

分类专栏： Flume 文章标签： Log4JAppender

本文链接：https://blog.csdn.net/qianshangding0708/article/details/50170353

版权

本文介绍了如何使用Log4JAppender和LoadBalancingLog4jAppender将应用服务器日志实时传输到日志服务器，通过AvroSource进行数据流。Log4JAppender依赖于异步加载器，否则可能导致应用异常。Log4JAppender与LoadBalancingLog4jAppender的区别在于负载均衡和错误处理策略。文中还提供了配置文件示例及测试代码。

摘要由CSDN通过智能技术生成

简介

Log4JAppender和LoadBalancingLog4jAppender可以将应用服务器的日志通过AvroSource实时的把日志传输到日志服务器，然后在传输到监控系统或者是HDFS中存储，FLume的Log4JAppender和LoadBalancingLog4jAppender必须使用Log4j的异步加载器，否则日志服务器down机，将会导致应用服务器异常，影响线上环境的使用。应用程序如果要用Log4JAppender就要依赖相关的jar，在应用服务器可以通过如下Maven配置获取到Log4JAppender的jar和log4j的相关jar：

<!-- flume log4j appender start -->
<dependency>
    <groupId>org.apache.flume.flume-ng-clients</groupId>
    <artifactId>flume-ng-log4jappender</artifactId>
    <version>1.6.0</version>
</dependency>
<!-- flume log4j appender end -->

<!-- log4j start -->
<dependency>  
    <groupId>log4j</groupId>  
    <artifactId>log4j</artifactId>  
    <version>1.2.17</version>  
</dependency>  
<dependency>  
    <groupId>org.slf4j</groupId>  
    <artifactId>slf4j-api</artifactId>  
    <version>1.7.5</version>  
</dependency>  
<dependency>  
    <groupId>org.slf4j</groupId>  
    <artifactId>slf4j-log4j12</artifactId>  
    <version>1.7.5</version>  
</dependency>
<!-- log4j end -->

Log4jAppender和LoadBalancingLog4jAppender有如下区别：

1，LoadBalancingLog4jAppender支持一组AvroSource。
2，LoadBalancingLog4jAppender支持round-robin，random或自定义的负载均衡方式。
3，当Event发送失败的情况下，LoadBalancingLog4jAppender支持backoff策略。