Flume
日拱一卒的Alex
一个乐观善良且温暖的人,认真对待生活中的每一天,成为更好的自己
展开
-
flume的多agent连接
1.需求 将tail命令产生的信息在example01机器上用flume收集,并且将数据传到example02机器上,在example02机器上会将这些接收到的数据存储在hdfs集群上。 2.实现 1)example01机器上的tail-avro.conf文件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #原创 2017-09-21 18:46:45 · 2396 阅读 · 0 评论 -
开发模块1——数据采集
3 模块开发——数据采集 3.1 需求 数据采集的需求广义上来说分为两大部分。 1)是在页面采集用户的访问行为,具体开发工作: 1、开发页面埋点js,采集用户访问行为 2、后台接受页面js请求记录日志 此部分工作也可以归属为“数据源”,其开发工作通常由web开发团队负责 2)是从web服务器上汇聚日志到HDFS,是数据分析系统的数据采集,此部分工作由数据分析平台建设团队负责,具原创 2017-12-16 19:07:28 · 1611 阅读 · 1 评论