Spark-SQL连接Hive 的五种方法

目录

1.内嵌的hive

2.外部的hive

3.运行Spark-SQL CLI

4.运行Spark beeline

5.代码操作hive

---

1.内嵌的hive

如果使用内嵌的hive，啥也不用做，解压之后进入spark-home目录。

执行bin/spark-sql或者bin/spark-shell，进入交互式命令行之后，使用SQL进行查询：spark.sql("show tables").show。

然后尝试创建表，插入数据。在退出客户端，进入spark-home的目录下，你就会发现生成了derby.log,spark-warehouse目录,以及metadata_db目录,这就是内部hive的目录结构。

此时进入spark-warehouse目录，你就会发现自己刚才创建的表以及表中数据。

2.外部的hive

如果使用外部的hive，需要做以下几步：

1. 1.将hive/conf/hive-site.xml 拷贝到spark的conf目录下。
2. 2.将Hive元数据库MySQL的驱动jar包拷贝到spark的jars目录下。
3. 3.如果访问不到HDFS，将hdfs-site.xml，以及core-site.xml拷贝到spark的conf目录下。
4. 4.启动spark-sql，然后执行select * from tablename。

3.运行Spark-SQL CLI

1. 如果使用运行spark-sql cli连接方法，操作步骤如下：
2. 1.将mysql的驱动放入jars/中。
3. 2.将hive-site.xml文件放入conf/中。
4. 3.运行bin/目录下的spark-sql.cmd 或者打开cmd在D：\spark\spark-0.0-bin-hadoop3.2\bin当中直接运行spark-sql。