![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
BestbpF
在校大学生
展开
-
Flume初学习
Flume(日志收集系统)是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过原创 2017-10-11 19:19:32 · 288 阅读 · 0 评论 -
flume+mapreduce实战小练习
需求: 对nginx服务器下的log文件进行收集到HDFS上,然后通过mapreduce对日志文件进行分析。 我这里的log文件位于 /var/log/nginx/access.log。 通过打开nginx的页面进行刷新来模拟用户访问,会产生新的日志信息 1、通过flume来收集数据到HDFS上 # define agent a2.sources = r2 a2.channels原创 2017-10-19 19:09:18 · 1179 阅读 · 0 评论