hive sql 和 spark sql的区别

目录

• 一、什么是hive，什么是spark
• • （一）hive
  • • 1、hive在hadoop中的角色
    • 2、hive和关系型数据库的区别
    • 3、hive 架构及执行流程介绍
  • （二）spark
  • • 1、spark组件介绍
    • 2、spark 和 mapreduce对比
    • 3、spark sql 执行
• 二、hive sql 和 spark sql 的对比
• 三、其他补充

要知道两种sql的区别，先要知道什么是hive，什么是spark

一、什么是hive，什么是spark

（一）hive

百度百科上的定义：hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

1、hive在hadoop中的角色

定语

角色

作用

优点

基于Hadoop的数仓工具

查询引擎

可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转化为MapReduce任务进行运行

学习成本低，可以通过类sql语句执行统计，不必开发专门的MapReduce应用

建立于Hadoop上的数据仓库