Flume
文章平均质量分 86
Evankaka
一步一个脚印,认真做好每一件事
展开
-
Flume+HDFS+Kafka+Hive实例搭建
摘要:本文要实现的是一个使用Flume来处理Kafka的数据,并将其存储到HDFS中去,然后通过Hive外部表关联查询出来存储的数据。 所以在建立一个maven工程,整个工程最终的目录如下: 下面开始一步一步讲解 1、定义自己的source 之所以不用源生的,是因为要对得到的消息要一定的处理后再保存到hdfs中去,这里主要就是将每一条消息解析并组装成以“|”做...原创 2017-03-04 17:34:07 · 9905 阅读 · 7 评论 -
Flume运行原理
flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一.原创 2017-03-24 20:08:36 · 3554 阅读 · 1 评论