1.集群规模:12台物理集,128G内存,8T机械硬盘,2T固态硬盘,20核40线程,戴尔4万多1台(重要,吹牛)
2.第一个Flume:
1.tailsource:实时监控多个文件且有断点续传的功能**(文件具体怎么写的?**)
2.filechannel:基于磁盘,io多,性能差,但是可靠性高。
memorychannel:基于内存,性能高,但是可靠性低,存在丢失数据的风险。
kafkachannel:基于磁盘,可靠性高,性能还优于memorychannel+kafkasink
3.kafkachannel直接将数据发送到kafka,没有使用sink。
4.拦截器:使用了etl拦截器,过滤掉不完整的json数据,同时使用了分类拦截器,把日志分为了5类数据,启动、页面、动作、曝光、错误数据,通过给event的header加上对应的标签(这里什么意思?),后面配合多路复用的选择器,指定不同类型的数据去到不同的topic中。(可以加强)
定义拦截器的步骤:1.自定义一个类,实现interceptor,实现4个抽象方法:初始化,关闭资源,单个event和多个event方法,2.创建一个内部类实现builder类,实现两个抽象方法。3.打包上传到flume的lib包下,在配置文件中添加拦截器,写上全类名$build类(不熟)
5.选择器:两种,一种是replicating,默认选择器,每一个通道发送