大数据SparkSQL与Hive on Spark的比较

简要介绍了SparkSQL与Hive on Spark的区别与联系

 

一、关于Spark
简介
在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。

架构
Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。

Spark特点
Spark可以部署在YARN上
Spark原生支持对HDFS文件系统的访问
使用Scala语言编写

 

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：716加上【五8一】最后014，即可免费领取系统的大数据学习教程
 

部署模型
单机模型：主要用来开发测试。特点：Driver、Master、Worker和Executor都运行在同一个JVM进程之中。
伪集群模型：主要用来开发测试。特点：Master、Worker都运行在同一个JVM进程之中；Master、Worker和Executor都运行于同一台机器，无法跨机器运行；
独立集群（又叫做原生集群模式）：在集群规模不是非常大的情况下&