Intellij Idea 新建mave依赖的java spark 项目

1. Hadoop环境配置

下载hadoop-2.9.2.tar.gz包到本地Windows目录，下载地址：

http://archive.apache.org/dist/hadoop/core/hadoop-2.9.2/

下载解压后需要在其bin目录下添加hadoop.dll和winutils.exe，对应版本下载地址：

https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin

 

2. 新建maven依赖的java spark项目

因为权限问题，不能本地配置hadoop_home这些全局变量(我的电脑高级系统设置中的环境变量设置).

因此,本地跑spark程序在Intellij Idea 的 VM Options: 里面配置

-Dhadoop.home.dir=C:\\Users\\zhang\\Desktop\\Jane\\hadoop2.9\\hadoop-

然后运行程序，初始运行会报错：

java.io.IOException: (null) entry in command string: null chmod 0733 C:\tmp\hive

解决方法：

C:\Users\zhang>C:\Users\zhang\Desktop\Jane\hadoop2.9\hadoop-2.9.2\bin\winutils.exe chmod -R 777 \tmp\hive

C:\Users\zhang>C:\Users\zhang\Desktop\Jane\hadoop2.9\hadoop-2.9.2\bin\winutils.exe ls c:\tmp\hive
drwxrwxrwx 1 DESKTOP-PVDE38T\zhang DESKTOP-PVDE38T\zhang 0 Sep 28 2020 c:\tmp\hive

然后就可以本地mock Hive DB.