Flume+Kafka+Spark Streaming打造企业大数据流处理平台（1）

Flume：

Flume的核心组件

1:source 收集 （HDFS source ）
指定数据来源 ，有kafka spooling指定文件目录 netCat指定端口 自定义source
2:channel 聚集
通道，类似一个缓冲池 数据临时存储 filechannel memorychannel kafkachannel
3:sink 输出
将数据输出到指定的地方 入HDFS Mysql kafka等

Flume的配置

1:配置source
指定节点a的source
a.sources.r.type=netcat 指定source从端口监听
a.sources.r.bin=ip 指定监听的端口地址
a.sources.r.port=8080 指定端口
a.sources =r
2:配置channel
a.channels=c
a.channels.c.type=memory 内存
3:配置sink
a.sinks=k
a.sinks.s.typpe=logger 指定输出到日志

4:把组件连接起来
a.sources.r.channels=c
a.sinks.k.channel=c

一个source可以输出到多个channel
但是一个channel只能输出到一个sink

Flume的启动

在flume的b安装路径下 执行flume的脚本
bin/flume-ng agent
-c /opt/module/flume/conf 指定配置文件路径
-f ~/work/flume-job/flume-app.conf 指定配置文件 就是上面写的
-n ag1 angent 名字
-Dflume.root.logger=info,console 启动日志输出