- 博客(1)
- 资源 (5)
- 收藏
- 关注
原创 Flume avro client和hdfs sink 完成自定义目录文件收集
准备 背景: 把分散在个边缘Node的访问日志收集到中央节点,然后在做后续的处理。边缘Node(例如hostname为BJ-NODE1) 上的日志每分钟切出来一个文件,通过 Flume avro client 把5分钟粒度内的日志上传到中央节点,生成一个文件,文件名类似 BJ-NODE1_timestamp.log。 大概的逻辑如下图 avro clientD中央avro clientavro ...
2019-04-11 14:23:03 1397
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人