一、将配置文件添加找项目中
- 在main主目录下创建一个resources文件夹
- 把hadoop的配置文件hdfs-site.xml core-site.xml和hive的配置文件hive-site.xml复制到resources文件夹下;
二、修改mysql数据库远程登陆权限
mysql数据库安装不能远程登陆的,只能在本地用localhost 或者127.0.0.1登录访问,如果需要远程登录,则需要修改mysql设置
直接运行会出现连接不上等情况。
登录mysql到中
- mysql -u root -padmin
- use mysql
- select host,user from user;
- update user set host = '%' where user = 'root'; # 修改root用户权限
- select host,user from user;
- FLUSH PRIVILEGES; # 刷新权限
此时mysql可以远程访问
需要修改项目中resources中的hive-site.xml 中mysql访问的ip
三、添加依赖项
maven项目中pom.xml需要添加依赖
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.12</artifactId> <version>3.0.0</version> </dependency>
<!-- 添加对应mysql驱动jar包--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.27</version> </dependency>
四、测试是否能访问hive中的数据
先开启Hadoop集群
[root@master ~]#start-dfs.sh
[root@master ~]# start-yarn.sh
Spark读写Hive表,需要访问Metastore服务。在终端中执行如下命令:
hive --service metastore
spark.sql访问hive数据库
查看hive中的数据库
-------------------------------------------------------------好了呐----------------------------------------------------------