本文详细介绍了Spark SQL连接Hive的五种方法：内嵌Hive、外部Hive、Spark beeline、Spark SQL CLI以及代码操作。每种方法都涉及到配置hive-site.xml、Mysql驱动以及可能需要的Hadoop相关配置。对于外部Hive和Spark beeline，还涉及到了Thrift Server的启动和使用。
Spark-SQL连接Hive
Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言（HQL）等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说，最好还是在编译 Spark SQL 时引入 Hive支持，这样就可以使用这些特性了。
使用方式分为内嵌Hive、外部Hive、Spark-SQL CLI、Spark beeline 以及代码操作。
1.内嵌的 HIVE
如果使用 Spark 内嵌的 Hive, 则什么都不用做, 直接使用即可。但是在实际生产活动当中，几乎没有人去使用内嵌Hive这一模式。
2.外部的 HIVE
如果想在spark-shell中连接外部已经部署好的 Hive，需要通过以下几个步骤：
2.1.Spark 要接管 Hive 需要把 hive-site.xml 拷贝到 conf/目录下
2.2.把 Mysql 的驱动 copy 到 jars/目录下
2.3.如果访问不到 hdfs，则需要把 core-site.xml 和 hdfs-site.xml 拷贝到 conf/目录下
最低0.47元/天 解锁文章
扫一扫
2172
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
