![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
璀璨下的一点星辰
这个作者很懒,什么都没留下…
展开
-
Flume安装
下载地址: http://archive.cloudera.com/cdh5/cdh/5/ 1.在环境变量中加入路径,path加入bin 新建FLUME_HOME 2.conf中的flume.env.sh加入java_home 3.flume-ng version检测安装成功...原创 2018-11-07 15:41:37 · 1345 阅读 · 0 评论 -
Flume实战案例一,从指定网络端口采集数据输出到控制台
flume新建任务就是在写配置文件 配置example.conf 在conf下新建文件example.conf 加入 # example.conf: A single-node Flume configuration 需要配置agent a1 source r1 channel k1 sinks c1 然后将source,channel,sinks关联起来 # Name t...原创 2018-11-07 17:03:54 · 1684 阅读 · 0 评论 -
Flume实战案例二,监听一个文件实时采集新增的数据输出到控制台
Agent选型:exec source +memory channel +logger sink 看http://flume.apache.org/FlumeUserGuide.html#exec-source有相应的介绍 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = ...原创 2018-11-07 17:06:42 · 2894 阅读 · 2 评论 -
Flume实战案例三(重点掌握):将A服务器上的日志实时采集到B服务器
技术选型: A: exec source +memory channel +avro sink B: avro source +memory channel +logger sink exec-memory-avro.conf # Name the components on this agent exec-memory-avro.sources = e...原创 2018-11-07 17:09:45 · 1639 阅读 · 0 评论