Flume常用source、sink

基本概念

1.什么叫flume？
　　分布式，可靠的大量日志收集、聚合和移动工具。

2.events
　　事件，是一行数据的字节数据，是flume发送文件的基本单位。

3.flume配置文件
　　重命名flume-env.sh.template为flume-env.sh，并添加[export JAVA_HOME=/soft/jdk]

4.flume的Agent
　　source //从哪儿读数据。 负责监控并收集数据。相对于channel是生产者。
　　channel //数据通道。 通道，相当于数据缓冲区。
　　sink //将数据传送往哪儿。 沉槽，负责将数据放置在指定位置。相对于channel是消费者。

5.flume如何使用
　　在flume的conf文件下，创建conf后缀的文件，使用flume命令启动

6.flume命令
　　启动：flume-ng agent -f /soft/flume/conf/example.conf -n a1

常用Source

1.执行源:Exec Sour
//通过linux命令作为source。缺点：失败后数据会丢失，不能保证数据的完整性。
　　#定义源：exec
　　a