大数据集群搭建（10）——Flume的多节点集群搭建

Flume的多节点集群搭建

1.将主节点的flume拷贝到其他节点上

scp -r  /usr/flume/ root@slaver1:/usr/flume/

scp -r  /usr/flume/ root@slaver2:/usr/flume/

2. 在master上面配置conf文件：  从某个文件夹里面采集数据，采集到的数据sink到slaver2里面(文件名:m-s2.conf)

##########################################################

##主要作用是监听目录中的新增数据，采集到数据之后，输出到avro （输出到agent）

##    注意：Flume agent的运行，主要就是配置source channel sink

##  下面的a1就是agent的代号，source叫r1 channel叫c1 sink叫k1

#########################################################

a1.sources = r1

a1.sinks = k1

a1.channels = c1

#具体定义source  

a1.sources.r1.type = spooldir

#先创建此目录，保证里面空的  

a1.sources.r1.spoolDir = /logs

#对于sink的配置描述 使用avro日志做数据的消费

a1.sinks.k1.type = avro

a1.sinks.k1.hostname = slaver2

a1.sinks.k1.port = 44444

#对于channel的配置描述 使用文件做数据的临时缓存 这种的安全性要高

a1.channels.c1.type = file

a1.channels.c1.checkpointDir = /home/uplooking/data/flume/checkpoint

a1.channels.c1.dataDirs = /home/uplooking/data/flume/data

#通过channel c1将source r1和sink k1关联起来

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

3. 在slaver1上面写配置文件   （master和slaver1是一样的）

(文件名:s1-s2.conf）

4. 写slaver2的配置文件： 从master,slaver1上获取数据，sink到hdfs上；

(文件名:s2-hdfs.conf）

#########################################################

## 获取zhiyou01,02上的数据，聚合起来，传到hdfs上面

##    注意：Flume agent的运行，主要就是配置source channel sink

##  下面的a1就是agent的代号，source叫r1 channel叫c1 sink叫k1

#########################################################

a1.sources = r1

a1.sinks = k1

a1.channels = c1

#对于source的配置描述 监听avro

a1.sources.r1.type = avro

a1.sources.r1.bind = slaver2

a1.sources.r1.port = 44444

#定义拦截器，为消息添加时间戳  

a1.sources.r1.interceptors = i1  

a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder

#对于sink的配置描述 传递到hdfs上面

a1.sinks.k1.type = hdfs  

             #集群的nameservers名字

             #单节点的直接写：hdfs://master:9000/xxx

a1.sinks.k1.hdfs.path = hdfs://master:9000/flume/%Y%m%d  

a1.sinks.k1.hdfs.filePrefix = events-  

a1.sinks.k1.hdfs.fileType = DataStream  

#不按照条数生成文件  

a1.sinks.k1.hdfs.rollCount = 0  

#HDFS上的文件达到128M时生成一个文件  

a1.sinks.k1.hdfs.rollSize = 134217728  

#HDFS上的文件达到60秒生成一个文件  

a1.sinks.k1.hdfs.rollInterval = 60   

#对于channel的配置描述 使用内存缓冲区域做数据的临时缓存

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

#通过channel c1将source r1和sink k1关联起来

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1  

5.清空/logs ,slaver1上面没有logs目录，需要建立一个

6.启动

先启动slaver2,再启动master,slaver1

bin/flume-ng agent -n a1 -c conf -f conf/s2-hdfs.conf -Dflume.root.logger=INFO,console

bin/flume-ng agent -n a1 -c conf -f conf/m-s2.conf -Dflume.root.logger=INFO,console

bin/flume-ng agent -n a1 -c conf -f conf/s1-s2.conf -Dflume.root.logger=INFO,console

7.测试

在master或者slaver1的logs里面添加内容，观察hdfs