Flume
璀璨下的一点星辰
这个作者很懒,什么都没留下…
展开
-
Flume安装
下载地址: http://archive.cloudera.com/cdh5/cdh/5/ 1.在环境变量中加入路径,path加入bin 新建FLUME_HOME2.conf中的flume.env.sh加入java_home3.flume-ng version检测安装成功...原创 2018-11-07 15:41:37 · 1361 阅读 · 0 评论 -
Flume实战案例一,从指定网络端口采集数据输出到控制台
flume新建任务就是在写配置文件 配置example.conf 在conf下新建文件example.conf 加入# example.conf: A single-node Flume configuration需要配置agent a1source r1channel k1sinks c1然后将source,channel,sinks关联起来# Name t...原创 2018-11-07 17:03:54 · 1707 阅读 · 0 评论 -
Flume实战案例二,监听一个文件实时采集新增的数据输出到控制台
Agent选型:exec source +memory channel +logger sink看http://flume.apache.org/FlumeUserGuide.html#exec-source有相应的介绍# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = ...原创 2018-11-07 17:06:42 · 2910 阅读 · 2 评论 -
Flume实战案例三(重点掌握):将A服务器上的日志实时采集到B服务器
技术选型: A: exec source +memory channel +avro sink B: avro source +memory channel +logger sink exec-memory-avro.conf# Name the components on this agentexec-memory-avro.sources = e...原创 2018-11-07 17:09:45 · 1670 阅读 · 0 评论