本地IDEA中创建maven项目、spark程序远程访问hive

一、将配置文件添加找项目中

1. 在main主目录下创建一个resources文件夹
2. 把hadoop的配置文件hdfs-site.xml core-site.xml和hive的配置文件hive-site.xml复制到resources文件夹下； 

---

二、修改mysql数据库远程登陆权限

  mysql数据库安装不能远程登陆的，只能在本地用localhost 或者127.0.0.1登录访问，如果需要远程登录，则需要修改mysql设置

直接运行会出现连接不上等情况。

登录mysql到中

1. mysql -u root -padmin
2. use mysql
3. select host,user from user;

1.  update user set host = '%' where user = 'root';  # 修改root用户权限
2. select host,user from user;
3. FLUSH PRIVILEGES;   # 刷新权限

此时mysql可以远程访问

需要修改项目中resources中的hive-site.xml 中mysql访问的ip

---

三、添加依赖项 

maven项目中pom.xml需要添加依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.12</artifactId>
    <version>3.0.0</version>
</dependency>

 <!-- 添加对应mysql驱动jar包-->
<dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.27</version>
 </dependency> 

---

四、测试是否能访问hive中的数据

先开启Hadoop集群 

[root@master ~]#start-dfs.sh
[root@master ~]# start-yarn.sh

Spark读写Hive表，需要访问Metastore服务。在终端中执行如下命令：
hive --service metastore

spark.sql访问hive数据库

查看hive中的数据库

 -------------------------------------------------------------好了呐----------------------------------------------------------