spark sql如果想操作hive,用sql命令在hive中操作表
一、需要在spark安装目录的conf文件夹准备好以下三个文件
hadoop安装目录中conf文件夹下的配置文件
core-site.xml
hdfs-site.xml
hive安装目录中conf文件夹下的配置文件
hive-site.xml
里面的mysql用户名 密码 和主机名一定要对啊
还有mysql的版本要和这里的驱动一致,因为mysql8.0之后的驱动变了
<configuration>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://bigdata100:3306/metastore?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
</configuration>
二、启动好各个需要的组件
hadoop
zookeeper
spark
mysql
三、启动spark-shell
bin/spark-shell --master spark://(主机名):7077 --jars /root/mysql-connector-java-5.1.39.jar --driver-class-path /root/mysql-connector-java-5.1.39.jar
这里的mysql-connector-java-5.1.39.jar也要和mysql的版本一致,如果是mysql8.0需要用mysql-connector-java-8.0.11.jar
如果报错:
Access denied for user ‘root’@‘localhost’ (using password:YES))
在mysql窗口输入:
mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
mysql> flush privileges;
*.*
:数据库.表 代表任意数据库表
‘root’@’%’ :给root账户设置密码为123456并且host为任意主机均可访问
flush privileges :刷新权限,让设置生效
按照以上的步骤应该就可以成功让spark操作hive了