Spark深入解析（十九）：SparkSQL之Spark SQL概述

Spark SQL官方介绍

官网

  http://spark.apache.org/sql/

什么是Spark SQL

  Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。

  我们已经学习了Hive，它是 将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性 ，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

Spark SQL的特点

1、易整合

• 可以使用java、scala、python、R等语言的API操作。