Spark-SQL之Hive数据源

Hive数据源

Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。

案例中讲解如下四个功能：

第一个功能：用HiveContext的sql()/hql()方法，可以执行hive中执行的HiveQL语句

第二个功能：执行sql还可以返回DataFrame

第三个功能：DataFrame中的数据保存到hive表中（row即可）

第四个功能：HiveContext.table()方法，针对hive表创建DataFrame

实例：

java版本：

package Spark_SQL.Hive_sql;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.