flume

flume
memorychannel：效率高，安全性差

filechannel:是把日志文件存储在磁盘上，在内存中存储索引以加快索引效率，可在磁盘中备份多份索引以提高安全性；
配合多磁盘存储路径可以提高效率

日志采集工具-本质是jvm
与kafka有良好的兼容性
启动命令：
实时流式地传输日志信息给hdfs或kafka
与dfs -put的区别 ：put需要主动执行且需等待一份完整的日志文件生成后才能操作
而flume实时流式拉取，有多少拉多少，并且可以解决小文件问题（inusefile.tmp，正在追加写入，将数据追加写入文件直到大小不是小文件时再写入新文件sink.rollinterval（30s）、rollsize（128M）、rollcount事件数）
架构
从webserver提取日志到agent（一个jvm进程，以事件形式传输数据）中的source（数据源，从外部获取数据），source再到channel（管道，数据缓存积压区mem，file，kafka），接着sink（输出），然后去到hdfs。
source根据不同格式的数据，不同的场景更换不同的source满足不同需求，称为解耦
sink不断轮询channel的事件，批量移除他们，批量写入下游系统或另一个flume agent
channel缓冲区：允许source和sink运行在不同的速率上，线程安全（并行排队：加锁），可以同时处理几个source和sink的写读操作。
channel满了就不要读了：程序实现
事件event，传输单元，由header（k-v，存放属性信息）和body（存放数据，形式是字节数组）组成
实践
让jar包运行 java -jar 一大堆参数 包名
lib源代码
bin-shell命令读取conf中的配置信息并执行java -jar 一大堆参数 包名
conf 参数配置
使用flume监听一个端口，收集该端口的数据
使用nc工具监听端口，实现发送往来信息
conf/nc.console.conf
source1.type数据源的类型
source.port源端口号
sink1.type输出的类型
（agent）a1.source.r1.channels=c1 一个source可以给多个channels发数据
多路聚合
将多个agent的数据传给同一个agent进行统一控制台输出
配置
不要手写，从官网复制再修改
源码
使用idea
ctrl+n搜索控制台反显的类信息
监控某个目录下追加的文件内容并写入hdfs
taildir source
mem channel
hdfs sink
roll
type=hdfs
filetype
uselocaltimestamp
主要是写配置文件
filesgroup文件组：监控的多个文件的组名
positionfile：偏移量文件（inode唯一识别，pos上次读到了什么位置，全路径）
断点续传：服务关闭了，期间做了某些操作，然后再开启监控
flume进阶
flume事务
4个原则-当第一次运行出错中断后，第二次会回滚之前做过的步骤，然后重新开始执行
source-channel：doPut事务池中的批数据写入缓冲区-doCommit提交不过去就会回滚doRollBack
put扔，上游主动
事务池也放不下了，通知上游数据不要再传了
channel-sink：doTake-doCommit-doRollback
take：下游主动
flume-agent原理
拦截器链
拦截器-打标记
继承interceptor接口，方法重载
重写4个抽象方法
initialize-获取连接
intercept-事件处理
获取event中header头文件，判断是数字还是字母，在header中加入标记，传给channel selector 选择不同的channel
注意event对象的header属性是引用数据类型，getheader返回一个header对象，不需要setheader（）值回去
intercept（list)遍历每个event传给intercept处理
两个intercept的原因是解耦
系统运行调用的是这个方法
close关闭资源
编写静态内部类创建拦截器
两个方法重载
build（）返回一个拦截器对象，后面通过反射调用
configuration（）读取conf/中配置文件信息
channel selectors
（根据标记和type分发events给channel： replicating channelselector 广播分发events & multipexingChannelselector选择性分发events 给channel
多路复用
根据数据类型的不同分发到不同的应用当中去
sink
负载均衡 - 一个channel可以连接多个sink，一个sink只能连接一个channel
故障转移
配置文件
需要配置source、channel、sink、intercept（以及对应的builder类-全类名中带$表示内部类）