大数据常用框架的对比概览

数仓搭建常用框架的对比概览

 

框架	常用位置	原理
Hive	1. Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 2. Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 3. Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。	1. 本质是：将HQL转化成MapReduce程序 2. hive处理的数据存储在HDFS中 3. Hive分析数据底层的实现是MaoReduce 4. 执行程序运行在Yarn上
Sqoop	主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。	1. 将导入或导出命令翻译成mapreduce程序来实现。 2. 在翻译出的mapreduce中主要是对inputform