flume
qq_42506914
这个作者很懒,什么都没留下…
展开
-
关于flume的filechannel的一些配置与理解
checkpointDir ~/.flume/file-channel/checkpoint The directory where checkpoint file will be stored 检查点的目录 useDualCheckpoints false Backup the checkpoint. If this is set totrue,back...原创 2019-03-23 20:36:50 · 3913 阅读 · 0 评论 -
memorychannel的配置文件说明
The events are stored in an in-memory queue with configurable max size. It’s ideal for flows that need higher throughput and are prepared to lose the staged data in the event of a agent failures. Req...原创 2019-03-28 08:47:08 · 523 阅读 · 0 评论 -
关于flume的拦截器
项目中我们需要对一个数据源读取到的数据,我们希望能够进到不同的channel,那么我们需要source的selectors和interceptors。选择器默认使用的是replcation ,是复制模式,进入每个channel的数据都一样,这里我们选用 multiplexing此项目拦截器我们使用了2个,一个ETL来过滤不合法数据,一个用来给数据添加头信息,头信息是一个k-v键值对,sel...原创 2019-03-28 08:32:05 · 312 阅读 · 0 评论 -
关于通过ssh后台脚本启动几台主机的flume
脚本1#!/bin/bashcase $1 in"start"){ for i in hadoop101 hadoop102 do echo "---------正在启动 $i 的flume---------------" ssh $i "nohup /opt/module/flume/bin/flume-ng agent -f /opt/module/flume/c...原创 2019-03-28 09:00:44 · 467 阅读 · 0 评论