1、资源准备
hadoop-common-2.7.1-bin.zip
hadoop-eclipse-plugin-2.7.3.jar
jdk-8u112-windows-x64.exe
hadoop-2.7.3.tar.gz
2、安装JDK
jdk-8u112-windows-x64.exe双击安装
配置环境变量:
JAVA_HOME:D:\DevApp\Java\jdk1.8.0_112
Path:%JAVA_HOME%\bin
3、安装hadoop-2.7.3.tar.gz
解压hadoop-2.7.3.tar.gz到目录D:\DevApp\hadoop-2.7.3
配置环境变量:
HADOOP_HOME:D:\DevApp\hadoop-2.7.3
Path:%HADOOP_HOME%\bin
4、安装hadoop-common-2.7.1-bin.zip
解压hadoop-common-2.7.1-bin.zip到D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin
复制D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin\bin文件夹下面所有的文件到D:\DevApp\hadoop-2.7.3\bin目录下
复制D:\DevApp\hadoop-2.7.3\hadoop-common-2.7.1-bin\bin文件夹下面hadoop.dll文件到C:\Windows\System32下
5、hadoop-eclipse-plugin-2.7.3.jar插件安装
复制hadoop-eclipse-plugin-2.7.3.jar到E:\eclipse-jee-mars-2-win32-x86_64\plugins目录下,重启eclipse
配置Hadoop Map/Reduce,Preferences->Hadoop Map/Reduce,如下图填写D:\DevApp\hadoop-2.7.3
6、 配置eclipse中的Map/Reduce Locations,如下图所示:
配置Map/Reduce的主机:192.168.182.129,Port: 50090,参考hdfs-site.xml文件中的dfs.namenode.secondary.http-address端口号
配置DFS的主机:192.168.182.129,Port: 50090,参考core-site.xml文件中的fs.defaultFS端口号
连接测试效果如下图:
配置正确了,就会出现左侧的工程,并能在LocalHadoop下级目录下面创建目录,就表示调试成功。
7、配置hosts
C:\Windows\System32\drivers\etc\hosts”中自定义的主机名:218.195.250.80 master
8、创建测试工程
注意,工程的JAR包必须使用D:\DevApp\hadoop-2.7.3文件夹下面同步的JAR包,千万不能使用版本差异的JAR包