![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据辅助工具
QianL.
这个作者很懒,什么都没留下…
展开
-
大数据辅助工具——Flume
Hadoop业务的整体开发流程: Flume数据采集——MapReduce数据清洗——存入Hbase——Hive统计分析——存入Hive表——Sqoop导出数据——Mysql数据库——Web展示 总结来说分为以下几个步骤:数据采集,数据ETL,数据存储,数据计算/分析,数据展示。 数据来源大体包括: - 业务数据 - 爬虫爬取的网络公开数据 - 购买数据 - 自行采集手机的日志数据 Flume F...原创 2019-04-24 15:33:29 · 700 阅读 · 1 评论 -
Sqoop数据迁移工具
Sqoop是Apache旗下的一款“Hadoop和关系数据库服务器之间传送数据”的工具。 比如:导入数据——MySQL,Oracle导入数据到Hadoop的Hdfs,Hive,HBase等数据存储系统;导出数据——从Hadoop的文件系统中导出数据到关系数据库MySQL等。 Sqoop的本质还是一个命令行工具。 工作机制 将导入或导出命令翻译成MapReduce程序来实现,在翻译出MapReduc...原创 2019-04-24 15:35:21 · 164 阅读 · 0 评论