SparkSQL on Hive 环境配置

最新推荐文章于 2024-03-30 10:50:40 发布

火成哥哥

最新推荐文章于 2024-03-30 10:50:40 发布

阅读量646

点赞数

分类专栏： spark 文章标签： maven spark hive 大数据 apache

本文链接：https://blog.csdn.net/a1786742005/article/details/107968385

版权

本文介绍了如何在Linux shell和IntelliJ IDEA中配置SparkSQL以连接Hive。包括将hive-site.xml复制到Spark配置目录，添加Mysql驱动，运行spark-shell和spark-sql，以及在IDEA中导入依赖和配置文件，实现代码访问Hive。

摘要由CSDN通过智能技术生成

一、从 linux 上的 shell 访问

1、Spark 要接管 Hive 需要把 hive-site.xml 拷贝到 conf/ 目录下

[root@hadoop151 conf]# cp /opt/module/hive/conf/hive-site.xml /opt/module/spark/conf/
[root@hadoop151 conf]# pwd
/opt/module/spark/conf
[root@hadoop151 conf]# cat hive-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration> 
<property>   
        <name>javax.jdo.option.ConnectionURL</name>   
        <value>jdbc:mysql://hadoop151:3306/metastore?createDatabaseIfNotExist=true</value>   
        <description>JDBC connect string for a JDBC metastore</description>  
</property>  

<property> 
        <name>javax.jdo.option.ConnectionDriverName</name>   
        <value>com.mysql.jdbc.Driver</value>   
        <description>Driver class name for a JDBC metastore</description>  
</property> 
 
<property>   
        <name>javax.jdo.option.ConnectionUserName</name>    
        <value>root</value>    
        <description>username to use against metastore database</description> 
</property> 

<property>    
        <name>javax.jdo.option.ConnectionPassword</name>    
        <value>147258</value>    
        <description>password to use against metastore database</description> 
</property> 
</configuration>

2、把 Mysql 的驱动 copy 到 jars/ 目录下

[root@hadoop151 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/spark/jars/

3、运行 spark-shell

scala> spark.sql("show tables").show
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| default|    score|      false|
+--------+---------+-----------+

scala> spark.sql("select * from score").show
+----+----------+-----+                                                         
| uid|subject_id|score|
+----+----------+-----+
|1001|        01|   90|
|1001|        02|   90|
|1001|        03|   90|
|1002|        01|   85|
|