Hadoop集群实践-Windows上Eclipse远程Linux服务器集群Hadoop进行程序开发

1、资源准备

hadoop-common-2.7.1-bin.zip

hadoop-eclipse-plugin-2.7.3.jar

  jdk-8u112-windows-x64.exe

hadoop-2.7.3.tar.gz

2、安装JDK

jdk-8u112-windows-x64.exe双击安装

配置环境变量:

JAVA_HOME:D:\DevApp\Java\jdk1.8.0_112

Path:%JAVA_HOME%\bin

3、安装hadoop-2.7.3.tar.gz

解压hadoop-2.7.3.tar.gz到目录D:\DevApp\hadoop-2.7.3

配置环境变量：

HADOOP_HOME:D:\DevApp\hadoop-2.7.3

Path:%HADOOP_HOME%\bin

4、安装hadoop-common-2.7.1-bin.zip

解压hadoop-common-2.7.1-bin.zip到D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin

复制D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin\bin文件夹下面所有的文件到D:\DevApp\hadoop-2.7.3\bin目录下

复制D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin\bin文件夹下面hadoop.dll文件到C:\Windows\System32下

5、hadoop-eclipse-plugin-2.7.3.jar插件安装

复制hadoop-eclipse-plugin-2.7.3.jar到E:\eclipse-jee-mars-2-win32-x86_64\plugins目录下，重启eclipse

配置Hadoop Map/Reduce，Preferences->Hadoop Map/Reduce，如下图填写D:\DevApp\hadoop-2.7.3

6、 配置eclipse中的Map/Reduce Locations，如下图所示：

配置Map/Reduce的主机：192.168.182.129，Port: 50090,参考hdfs-site.xml文件中的dfs.namenode.secondary.http-address端口号

配置DFS的主机：192.168.182.129，Port: 50090,参考core-site.xml文件中的fs.defaultFS端口号

连接测试效果如下图：

配置正确了，就会出现左侧的工程，并能在LocalHadoop下级目录下面创建目录，就表示调试成功。

7、配置hosts

C:\Windows\System32\drivers\etc\hosts”中自定义的主机名：218.195.250.80 master

8、创建测试工程

注意，工程的JAR包必须使用D:\DevApp\hadoop-2.7.3文件夹下面同步的JAR包，千万不能使用版本差异的JAR包