最近需要在idea下连接虚拟机上的hdfs,所以需要在windwos下配置hadoop环境
注意:hadoop需要java环境支持,Java环境配置就不在叙述了
Win10下hadoop环境的配置
一、hadoop包下载
对于hadoop包的下载,我们可以在官网找到对应的版本进行下载https://archive.apache.org/dist/hadoop/common/
这里我们下载的是hadoop-2.10.1-tar.gz,下载完成之后,压缩到任意文件夹下即可。
另外在windows下运行hadoop还需要两个文件,即hadoop.dll和winutils.exe这两个文件,各版本下载地址https://github.com/cdarlint/winutils,我这里用的是hadoop 2.10.1版本,对应两个资源文件以及hadoop文件链接:
链接:https://pan.baidu.com/s/1hdQmi8eX0NW3qYiTPfTGEw
提取码:fw9p
下载完成之后,需要将hadoop.dll和winutils.exe文件放到解压的hadoop文件夹下的bin目录下,并且需要将hadoop.dll复制一份到C:\Windows\System32下。
二、环境变量配置
1. 打开系统的环境变量配置
2. 配置HADOOP_HOME,属性值设置为hadoop解压所在的路径。如图所示:
3. 设置HADOOP_USER_NAME,这个值设置为你虚拟机中的用户,如我虚拟机中的用户为root用户。
则设置HADOOP_USER_NAME值为root。
4. 设置path属性,添加%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin这两个属性。
然后需要修改hadoop文件下的hadoop-env.cmd,将set JAVA_HOME=E:\codeEverment\jdk-13.0.2的JAVA_HOME替换为自己jdk所在的位置。
三、检测hadoop是否安装成功
打开命令提示符窗口,输入hadoop -version,如果显示如下内容,则表明hadoop环境配置成功,则可以进行IDEA连接远程HDFS的步骤了。