![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
洪武
自律给我自由
展开
-
flume概述及安装
现状分析:多个应用产生不同的日志文件 现用户需要收集日志 如何解决我们的数据从其他的servcer 上移动到hadoop之上 1.shell cp hadoop集群机器上, hadoop fs -put ..../ 问题,容错(当hadoop机器挂了,怎么处理) 高延时(cp时间间隔,多久一次) 压缩(文件io传输大) 2.flume 写onfiguration file ...原创 2019-02-20 19:38:09 · 118 阅读 · 0 评论 -
实战1:从指定网络端口采集数据传输到控制台已完毕
# example.conf: A single-node Flume configuration 使用flume的关境就是写配置文件 A)配置source B)配置channel C)配置sink D)把以上3个组件串起来 a1: agent名称 r1:source的名称 k1:sink的名称 c1: channel的名称 # Name the components on this a...原创 2019-02-20 19:38:46 · 471 阅读 · 0 评论 -
实战2: 监控一个文件实时采集新增的数据输出到控制台
agent 选型 exec source +memory channel +logger sink # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # De...原创 2019-02-20 19:39:21 · 526 阅读 · 0 评论 -
实战3:将A服务器上的日志实时采集到B服务器
#跨节点传输采用avro sink agent 选型 A机器 exec source +memory channel +avro sink B机器 avro source +memory channel +logger sink exec-memory-avro.conf # exec-memory-avro.conf: A single-node Flume configu...原创 2019-02-20 19:39:59 · 322 阅读 · 0 评论