Flume日志采集

Log4j Appender

1. Client端Log4j配置文件

   ---

   log4j.rootLogger=INFO,A1,R
   ConsoleAppender out
   log4j.appender.A1=org.apache.log4j.ConsoleAppender
   log4j.appender.A1.layout=org.apache.log4j.PatternLayout
    log4j.appender.A1.layout.ConversionPattern=%d{yyyy/MM/ddHH:mm:ss}%-5p%-10C{1} %m%n
   ### File out
   日志Appender修改为flume提供的Log4jAppender
   log4j.appender.R=org.apache.flume.clients.log4jappender.Log4jAppender
   log4j.appender.R.File=${catalina.home}/logs/ultraIDCPServer.log
   日志需要发送到的端口号，该端口要有ARVO类型的source在监听
   log4j.appender.R.Port =44444
   日志需要发送到的主机ip，该主机运行着ARVO类型的source
   log4j.appender.R.Hostname =localhost
   log4j.appender.R.MaxFileSize=102400KB
   log4j.appender.R.MaxBackupIndex=5
   log4j.appender.R.layout=org.apache.log4j.PatternLayout
   log4j.appender.R.layout.ConversionPattern=%d{yyyy/MM/ddHH:mm:ss}%-5p%-10C{1} %m%n
   log4j.appender.R.encoding=UTF-8
   log4j.logger.com.ultrapower.ultracollector.webservice.MessageIntercommunionInterfaceImpl=INFO,webservice
   log4j.appender.webservice=org.apache.log4j.FileAppender
   log4j.appender.webservice.File=${catalina.home}/logs/logsMsgIntercommunionInterface.log
   log4j.appender.webservice.layout=org.apache.log4j.PatternLayout
   log4j.appender.webservice.layout.ConversionPattern=%d{yyyy/MM/ddHH:mm:ss}%-5p[%t]%l%X-%m%n
   log4j.appender.webservice.encoding=UTF-8
   

2. flume agent配置

   agent1.sources = source1
   agent1.sinks = sink1
   agent1.channels = channel1

   Describe/configure source1

   agent1.sources.source1.type = avro
   agent1.sources.source1.bind = 192.168.0.141
   agent1.sources.source1.port = 44444

   Describe sink1

   agent1.sinks.sink1.type = FILE_ROLL
   agent1.sinks.sink1.sink.directory = /home/yubojie/flume/apache-flume-1.2.0/flume-out

   Use a channel which buffers events in memory

   agent1.channels.channel1.type = memory
   agent1.channels.channel1.capacity = 1000
   agent1.channels.channel1.transactionCapactiy = 100

   Bind the source and sink to the channel

   agent1.sources.source1.channels = channel1
   agent1.sinks.sink1.channel = channel1
   注：生成的文件的规则为每隔固定时间间隔生成一个新的文件，文件里面保存该时间段agent接收到的信息

3. 分析
   
   1. 使用简便，工作量小。
   2. 用户应用程序使用log4j作为日志记录jar包，而且项目中使用的jar包要在log4j-1.2.15版本以上，
   3. 应用系统必须将flume所需jar包引入到项目中。如下所示为所有必须jar包：可能会存在jar冲突，影响应用运行
   4. 能够提供可靠的数据传输，使用flume log4jAppender采集日志可以不在客户机上启动进程，而只通过修改logapppender直接把日志信息发送到采集机（参见图一），此种情况可以保证采集机接受到数据之后的数据可靠性，但是客户机与采集机连接失败时候数据会丢失。改进方案是在客户机上启动一个agent，这样可以保证客户机和采集机不能连通时，当能连通是日志也被采集上来，不会发送数据的丢失（参见图二），为了可靠性，需在客户机上启动进程