搭建flume集群

搭建

环境

操作系统：centos6.5

Flume版本：1.7

三台虚拟机

Agent11：192.168.80.120

 Agent12：192.168.80.121

Agent13：192.168.80.122

检查防火墙有没有关闭：service  iptables status

 

 

根据设计图，配置conf/下的配置文件

这种情况应用的场景比较多，比如要收集Web网站的用户行为日志，Web网站为了可用性使用的负载均衡的集群模式，每个节点都产生用户行为日志，可以为每个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上。

 

Agent11和Agent12的配置文件一样。

 

#Agent11

agent11.channels =ch11

agent11.sources  = src11

agent11.sinks    = sink11

#agent11 SpoolingDirectory Source

#source

agent11.sources.src11.type= spooldir

agent11.sources.src11.spoolDir  =/home/hadoop/data/flume/spooldir

agent11.sources.src11.fileHeader= true

 

agent11.sources.src11.deletePolicy=immediate

#default never        Whento delete completed files: never or immediate     删除spooldir目录下的，完成的文件，后缀.completed

 

agent11.sources.src11.batchSize=1000

#default     100

Granularity at which to batch transfer to the channel