Flume 生产配置

1.Flume安装位置：10.96.183.54：  /home/hadoop/flume-1.7.0/

2.配置文档：Aoi.properties

aoi.channels = c1 

aoi.sources = r1
aoi.sinks = k1 

aoi.sources.r1.type = spooldir  
aoi.sources.r1.channels = c1
aoi.sources.r1.spoolDir = /mnt/aoi/JUZTE  
aoi.sources.r1.fileHeader = true
aoi.sources.r1.fileSuffix = .COMPLETED
aoi.sources.r1.fileHeaderKey = file
aoi.sources.r1.deletePolicy = immediate
aoi.sources.r1.recursiveDirectorySearch = true
#aoi.sources.r1.ignorePattern= ^error.*\.txt$
#aoi.sources.r1.recursiveDirectorySearch=true
#aoi.sources.r1.includePattern=^182*.*\.txt$
aoi.sources.r1.trackerDir=/home/hadoop/flume-1.7.0/trackerDir/.flumespool
aoi.sources.r1.inputCharset = UTF-8 
aoi.sources.r1.batchSize = 1000
aoi.sources.r1.decodeErrorPolicy = IGNORE
aoi.sources.r1.deserializer = LINE


aoi.channels.c1.type =file 
aoi.channels.c1.capacity = 2000
aoi.channels.c1.transactionCapacity = 2000
aoi.channels.c1.keep-alive = 1




aoi.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink  
aoi.sinks.k1.kafka.topic = aoi
aoi.sinks.k1.kafka.bootstrap.servers = 10.96.183.35:9092  
aoi.sinks.k1.kafka.flumeBatchSize = 200 
aoi.sinks.k1.useFlumeEventFormat = true
aoi.sinks.k1.kafka.producer.acks = 1  
aoi.sinks.k1.kafka.producer.linger.ms = 1  

aoi.sinks.k1.channel=c1 

名词解释：spooldir

Flume提供了一个基于跟踪文件夹内“文件个数”变动的source称之为Spool Directory Source。它跟踪目标日志文件夹，当有新的日志文件产生时就会触发对新日志文件的收集，但它不支持日志文件的追加。也就是说一旦它开始收集某个日志文件，那么这个日志文件就不能再被编辑，如果在读取日志文件的时候，日志文件产生了变动那么它将会抛出异常。也就是说，当收集到当日日志文件时，同时又有新的日志在往里面写入时，该source是不适合这种需求的。

如果你的需求是接近“准实时”的日志收集并且你非要用这个souce，应对的方案是：你只能选择将应用程序的日志框架（比如常用的log4j）的appender的“滚动机制”设置为按分钟滚动（也就是每分钟产生一个新日志文件）。这种机制不是不可行，但有些不足的地方，比如日志文件过多：当日志除了要被日志系统收集，还需要本地保留时，这种机制将非常难以接受。

我们希望日志文件按天滚动产生新的日志文件，当天的日志以追加的方式写入当天的日志文件并且Agent还要能够以接近实时的速度收集新产生的日志（追加）的。如果agent挂掉或者服务器宕机，日志文件不能丢失，agent能够自动跨日期收集。其实，spooling directory source已经为我们的实现提供了模板，但要进行一些改造，主要是以下几点：

（1）原先的Spooling Directory Source不支持对收集的日志文件的内容进行追加：



如果文件有任何改动，将以异常的形式抛出。此处需要移除异常

（2）对当日日志文件进行持续监控