![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
harveybd
这个作者很懒,什么都没留下…
展开
-
Flume 架构及部署
1.Flume概述Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务,用于分布式的海量日志的高效收集、聚合、移动系统。简单来说,Flume 就是一个针对日志数据进行采集和汇总的一个工具(把日志从A地方移动到B地方)Flume 官网:http://flume.apache.org/ Flume 官方文档:http://flume.apache.org/FlumeUse原创 2017-10-26 18:36:18 · 827 阅读 · 0 评论 -
Flume 使用exec及avro方式实现数据收集
导读: 本篇博客笔者主要介绍如何使用exec实现数据收集到HDFS、使用avro方式实现数据收集及整合exec和avro实现数据收集。Flume 官方文档:http://flume.apache.org/FlumeUserGuide.html1.使用exec实现数据收集到HDFS需求:监控一个文件,将文件中新增的内容收集到HDFS Agent选型:exec source + memo原创 2017-10-26 20:26:54 · 5012 阅读 · 0 评论 -
使用Log4j将日志实时写入Flume
需求:使用Flume实时收集WebServer或者其它服务器上通过log4j产生的日志Agent选型:Log4jAppender的使用创建一个maven项目,pom.xml文件中引入依赖dependency> groupId>log4jgroupId> artifactId>log4jartifactId> version>1.2.16version>depe原创 2017-10-26 19:11:32 · 3377 阅读 · 3 评论