flume、azkaban、sqoop小操作
flume 日志采集工具
agent 任务 source channel sink
netcat 想相当于开启了socket进行接收
spooldir 检测文件夹,但是内部不要再有文件夹,而且不要放重名文件,否则处理后发现有重名文件会报错
exec unix命令的执行结果作为要接受的数据 例如 tail -F xxx.log
avro 常用于RPC,远程数据传输,在agent串联中作为上一个age...
原创
2018-11-21 21:03:41 ·
423 阅读 ·
0 评论