Windows下的eclipse远程连接Linux下的Hadoop

准备工作：

安装hadoop环境的Ubuntu系统
安装eclipse的Windows系统

步骤：

• 下载eclipse连接hadoop所需的文件（如果链接失效可以自行上网下载）
  
  三个文件的使用方法：
  1）将hadoop-eclipse-plugin-2.7.3.jar文件复制到eclipse的dropins目录下
  2） hadoop.dll和winutils.exe要放在windows的Hadoop解压后目录的bin目录下（该目录不要有中文或空格）
  3） 将hadoop.dll文件复制到C:\Windows\System32目录
• 此时启动Eclipse，左侧的Project Explorer可以看到DFS Locations
  
• 接着设置eclipse的hadoop安装目录，打开Window–>Preferences，选择Hadoop Map/Reduc选项，然后点击Browse添加hadoop解压的文件夹最后点击Apply and Close
  
• 接着配置Map/ReduceLocations，点击Window–>Show View --> Other，点击MapReduce Tools，点击Map/Reduce Locations, 点击Open，此时Eclipse下方出现Map/Reduce Locations图标，点击右侧大象图标，新建一个Hadoop连接
  
• 填写配置信息
  

端口50030需要在mapred-site.xml文件里配置mapreduce.jobtracker.address，如下：

端口8020需要在core-site.xml文件里配置fs.defaultFS，如下：

注意：
User name：填写与Ubuntu 的用户名一致（也可随意填写）

• 接着启动Ubuntu下的hadoop，点开DFS Locations，点开local，就可以看到hdfs的文件，如果hdfs还没有任何文件，用hdfs put命令上传文件到hdfs

可能遇到的问题：

Error: Call From xxx to xxx:8020 failed on connection exception: java.net.ConnectException: Connection refused:

检查配置文件core-site.xml，属性fs.defaultFS应该设置为自己的IP, 不能是localhost

检查配置文件yarn-site.xml，属性yarn.resourcemanager.hostname应该设置为自己的IP, 不能是localhost