SparkSQL与Hive交互

SparkSQL可以采用内嵌Hive，也可以采用外部Hive。企业开发中，通常采用外部Hive。

一、内嵌Hive应用

内嵌Hive，元数据存储在Derby数据库。
（1）如果使用Spark内嵌的Hive，则什么都不用做，直接使用即可。

[root@bigdata111 spark-local]$ bin/spark-shell

scala> spark.sql("show tables").show

注意：执行完后，发现多了$SPARK_HOME/metastore_db和derby.log，用于存储元数据
（2）创建一个表

scala> spark.sql("create table user(id int, name string)")

注意：执行完后，发现多了$SPARK_HOME/spark-warehouse/user，用于存储数据库数据

（3）查看数据库

scala> spark.sql("show tables").show

（4）向表中插入数据

scala> spark.sql("insert into user values(1,'wgh')")

（5）查询数据

scala> spark.sql("select * from user").show

注意：然而在实际使用中，几乎没有任何人会使用内置的Hive，因为元数据存储在derby数据库，不支持多客户端访问。

二、外部Hive应用

如果Spark要接管Hive外部已经部署好的Hive，需要通过以下几个步骤：

（0）为了说明内嵌Hive和外部Hive区别：删除内嵌Hive的metastore_db和spark-warehouse

[root@bigdata111 spark-local]$ rm -rf metastore_db/ spark-warehouse/

（1）确定原有Hive是正常工作的