![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
洪武
自律给我自由
展开
-
flume概述及安装
现状分析:多个应用产生不同的日志文件 现用户需要收集日志如何解决我们的数据从其他的servcer 上移动到hadoop之上 1.shell cp hadoop集群机器上, hadoop fs -put ..../ 问题,容错(当hadoop机器挂了,怎么处理) 高延时(cp时间间隔,多久一次) 压缩(文件io传输大) 2.flume 写onfiguration file ...原创 2019-02-20 19:38:09 · 115 阅读 · 0 评论 -
实战1:从指定网络端口采集数据传输到控制台已完毕
# example.conf: A single-node Flume configuration使用flume的关境就是写配置文件A)配置sourceB)配置channelC)配置sinkD)把以上3个组件串起来a1: agent名称r1:source的名称k1:sink的名称c1: channel的名称# Name the components on this a...原创 2019-02-20 19:38:46 · 465 阅读 · 0 评论 -
实战2: 监控一个文件实时采集新增的数据输出到控制台
agent 选型 exec source +memory channel +logger sink # example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# De...原创 2019-02-20 19:39:21 · 521 阅读 · 0 评论 -
实战3:将A服务器上的日志实时采集到B服务器
#跨节点传输采用avro sinkagent 选型 A机器 exec source +memory channel +avro sink B机器 avro source +memory channel +logger sinkexec-memory-avro.conf# exec-memory-avro.conf: A single-node Flume configu...原创 2019-02-20 19:39:59 · 317 阅读 · 0 评论