使用IDEA 2019在windows 10 上连接远程hadoop集群（虚拟机）开发MapReduce

0 前序

暑假期间参加了一个关于大数据的培训，当时用培训老师给出的相关软件实验了一遍，感觉收获很大，回到学校后在更新的版本中又实现了一遍，这里主要就在新版本中的一些环境配置做些笔记，供自己后续实践参考，有些步骤可能会多余，但由于是初学，也就只能在自己掌握的情况下做些调整。

 在前期的CentOS中集群环境下的hadoop 3.2 配置中没有碰到过多的问题，主要的一个就是jdk的选择问题，之前选的最新版本jdk12，配置中出现一些问题，查了资料后有一篇文章中写到在jdk 9 以上的环境要如何操作等等，自己按文中提供的方法操作后还是有问题，遂放弃。后来看到Java 版本选择问题中有如下内容，

 

 因此还是老老实实的用回 java 8 ， 选用的是jdk-8u221-linux-x64.tar.gz， 解压安装简单的配置后hadoop启动正常。

1. windows 下 JAVA访问HDFS 

1）windows下hadoop的安装

关于在windows 下通过java访问hdfs中hadoop的安装配置，自己不是很理解，感觉把下载的hadoop-3.2.0 解压到windows中某个目录后，添加2个文件，没有其它的配置就可以用了，windows中hadoop起的作用不是很清楚，后续有时间再摸索。

hadoop 3.2.0 的解压

在windows下把hadoop-3.2.0.tar.gz解压到相应目录（个人习惯在D:\Program Files\）。在解压过程中会碰到如下错误：

hadoop-3.2.0.tar.gz解压错误

解决方法，在cmd中使用解压命令：start winrar x -y hadoop-3.2.0.tar.gz，如果是解压在其它地方，后面在复制到其它目录，则会出现“文件名对目标文件夹可能太长”类似错误，这个错误主要发生在复制，剪切的时候。解决方法为，直接拷贝到目标目录，然后直接解压到当前目录即可。

2）创建项目时用到的lib库

根据java程序的功能不同，需要的库会略有不同，基本上是“hadoop-3.2.0\share\hadoop”下Common目录下的“hadoop-common-3.2.0.jarÿ