spark 操作hive数据库
1、配置 hive-site.xml 新增
vim hive-site.xml
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop01:9083</value>
</property>
2、拷贝 到 spark conf下
cp /usr/local/hive/conf/hive-site.xml /usr/local/spark/conf/
3、拷贝 mysql 驱动包
[hadoop@hadoop01 ~]# cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/
4、启动 hive 元数据,需要启动hadoop
[root@hadoop01 ~]# cluster.sh start
[root@hadoop01 ~]# hive --service metastore > /dev/null 2>&1 &
5、启动 spark
[root@hadoop01 ~]# /usr/local/spark/sbin/start-all.sh
6、进入 spark sql命令行
[root@hadoop01 ~]# spark-sql
7、测试
spark-sql> show databases;
spark 操作hive数据库,使用spark-sql执行hivesql语句
最新推荐文章于 2024-06-18 13:58:53 发布