【三】SparkSQL概述

概述

官网介绍

SparkSQL是Spark的一个模块，用来处理结构化数据的。

SparkSQL能够运行SQL/Hive SQL包括UDF、UDAF、序列化和反序列化。

SparkSQL能够通过JDBC的方式连接到已经存在的BI工具上。

它能够支持Python、Java、Scala、R语言。

Spark SQL可以在Spark程序中查询结构化数据，也能使用DataFrame API来查询。

它能用相同的数据访问方式连接外部数据源。DataFrames和SQL提供了通用的方式访问各种各样的数据源，包括Hive Avro Parquet ORC JSON JDBC。甚至能够通过这些数据源来join数据。

与Hive能够很好的兼容，能够在已有的数据仓库中运行SQL或者HiveQL查询。

能够通过JDBC 或ODBC来连接到外部BI工具中。

架构