Spark整合Hive过程及遇到的问题

最新推荐文章于 2024-05-22 03:02:15 发布

一溪云~

最新推荐文章于 2024-05-22 03:02:15 发布

阅读量1.4k

点赞数 2

分类专栏： Spark 文章标签： Spark Spark SQL

本文链接：https://blog.csdn.net/qq_34715484/article/details/83151878

版权

Spark整合Hive过程及遇到的问题

一、前置步骤

安装MySQL，创建用户（当然也可以直接用root用户）并授权

CREATE USER 'bigdata'@'%' IDENTIFIED BY '123568'; 
GRANT ALL PRIVILEGES ON hivedb.* TO 'bigdata'@'%' IDENTIFIED BY '123568' WITH GRANT OPTION;
FLUSH PRIVILEGES;

二、将hive-site.xml放到$SPARK_HOME/conf目录下（可以不安装Hive，只要有配置文件就好了）

	<configuration>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://127.0.0.1:3306/hive</value>
		<description>mysql url</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<