Flume复习

Source从数据源收集数据，封装成event对象在Flumen中传输
数据源包括：
客户端经过avro序列化的数据
命令的输出
监控指定目录，收集该目录中的文件
监听端口，并接受监听到的的数据
监听一个HTTP请求

选择器：
默认一个Source中的全部envent对象复制到每一个Channel上，不配置Selector的话
另外Source中的event对象，也可以根据探测头的匹配规则，送往不同Channel

拦截器
既能在Event对象的头部插入KV键值对格式的时间戳、主机IP、静态值、UUID
也能设置正则表达式，实现body中数据的查找替换和过滤功能

Channel指定从Source接收到的event对象保存的位置
Memory：存储在内存中
File:存储在磁盘文件中

Sink
对Channel接收到的event对象，做进一步处理，例如

• logger将event对象打印到控制台上
• file_roll将Channel中接收到的event对象滚动输出到磁盘文件，滚动频率通过rollInterval属性指定
• hdfs将Channel中接收到的event对象输出到分布式文件系统中
  ，通过path和fileType=Datastream属性指定
• 多级流动中，使用avro将Channel接收到的event对象序列化到指定节点，通过hostname和port指定流向主机和端口
  Process
  一般情况下，默认一个Sink接收一个Channel，如果该Sink发生异常不能再处理Channel中的event对象，可以通过sinkgroups，实现event在多个sink之间的负载均衡

a1.sinkgroups = sg1
a1.sinkgroups.sg1.sinks = s1 s1
a1.sinkgroups.sg1.processor.type = load_balance
a1.sinkgroups.sg1.processor.selector = round_robin

也可以为多个sink设置优先级，其中一个sink失效进入冷却时，另一个优先级高的sink继续处理event对象。数字越大，优先级越高，默认优先级顺序为sink的配置先后顺序

Flume将envent对象输出到HDFS时，需要在Flume_Home/lib添加以下jar包

Flume的启动命令
[root@yangjjhost bin]# pwd
/usr/soft/flume-1.6.0/bin
[root@yangjjhost bin]# ./flume-ng agent --name a1 --conf …/conf/flume-conf.properties -Dflume.root.logger=INFO,console