安装版本及环境:
JDK:1.8.0_121
Hadoop:2.7.1
eclipse :2018
一、准备阶段
所有要用到的软件、jar包和windows执行Hadoop必须的一些文件点此下载
jdk必须用32位的版本。。。
二、开始安装
1、解压hadoop-2.7.1.tar.gz,解压的位置最好和jdk在一个盘且不要在C盘(系统盘),解压过后的目录样式如下:
2、配置系统环境变量
复制hadoop的解压路径,比如我这里是E:\Hadoop\hadoop-2.7.1
,打开系统的环境变量配置——>新建HADOOP_HOME
在Path中添加%HADOOP_HOME%\bin
保存即可
3、验证是否配置成功
cmd -> hadoop version
三、MapReduce编程
1、加入必须的文件,解压hadoop2.6(x64)V0.2.zip
将文件夹里的所有文件拷贝到E:\Hadoop\hadoop-2.7.1\bin
目录下
然后再将E:\Hadoop\hadoop-2.7.1\bin
里面的hadoop.dll
文件拷贝到C:\WINDOWS\System32
2、启动eclipse,新建一个Java Project,按下图所示的样子完成创建
然后在项目下面新建一个lib文件,将必须包和文件里的lib文件里的jar包复制到项目包里的lib文件下
然后进行如下操作
3、在src下新建一个包hadoop,将People.java、PeopleRank.java、PeopleRank2.java
复制到包里,然后change改一个名字就行了。
4、导入日志文件log4j.properties
和org
直接将log4j.properties和org文件夹复制到src目录下
ps:如果注释编码有问题,可以更改成UTF-8就好了
5、配置MapReduce的输入和输出
最后点击Run
6、查看计算完成的结果文件
去我们刚才配置输出的文件路径查看
到此我们的安装及一个测试就完成了,如果不能跑成功,可能是因为jdk的版本和hadoop不兼容的原因,或者没有加入那些必须的文件到bin下或者C盘,重启电脑