![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop辅助框架
文章平均质量分 78
不会骑扫把的胖女巫
这个作者很懒,什么都没留下…
展开
-
Hadoop2.x辅助框架(二)日志采集工具flume
转载自 http://www.cnblogs.com/gongxijun/p/5656778.htmlFlume是一个基于数据流的日志采集工具,可以将从网站服务器中采集来的数据存储至数据存储系统。1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的...转载 2018-04-09 19:52:18 · 284 阅读 · 0 评论 -
Hadoop2.x辅助框架(一)数据转换工具sqoop
一、sqoop的作用:实现数据在HDFS 和RDBMS之间进行导入导出 1、要想将存储在Oracle、MySQL等关系型数据库上的数据上传到HDFS时 ,可以使用sqoop将表中数据抽取到HDFS。 2、一般情况下,使用Flume搜集的实时数据是被存储到HDFS上的。可以将其导出到RDBMS.二、sqoop的底层:sqoop本质上运行的还是mapreduce程序,它利用并行批处理的方式...原创 2018-04-02 21:46:11 · 254 阅读 · 0 评论