实验-hadoop开发环境部署

---

 hadoop-0.20.2自带了eclipse插件，比如1.0.0和2.2.0就没有

---

1.windows下

1）把插件hadoop-0.20.2-eclipse-plugin.jar复制到eclipse目录下的plugins目录中;

2）启动eclipse;

3) windown->preferences->Hadoop Map/Reduce

4)打开Map/Reduce视图

window->show view->Map/Reduce Location

 

5)配置hadoop

右键选择New Hadoop location

(名字随意、第一个是MR的地址和端口，第二个是HDFS的地址和端口，要配的和配置文件中的一样，特别注意User name一定要填Namenode的用户名，之前因为没注意，一直报错）

然后运行集群，即可链接

如果链接不上

<1>.namenode的防火墙关掉（root用户）;

<2>.关掉HDFS的用户检查

6）能查看HDFS上的文件说明HDFS链接成功了，再测试一下MR

<1>.新建一个hadoop工程

<2>.自己写个代码或者直接贴上wordcount的代码

<3>.运行。设置输入输出参数

这时出现问题：

windows中chmod这个命令，解决办法：安装cygwin，然后把它的安装目录bin目录设置到环境变量Path中就可以了

---

 

2.Linux下（这个要更简单点）

1)安装eclipse（省略）

2）安装hadoop插件、Map/Reduce Locations、Hadoop installation Directoy等

这个不需要配置Linux环境和不用关心用户问题。

3）测试wordcount也同上。

---

 

其中有个问题我没懂得就是在配置运行参数的时候不能直接用/input/ /output/，必须用hdfs://192.168.126.129:9000/in这样的全称

我看到别人的文档中可以，不知道是我哪儿设置有问题还是他们在忽悠人

 

转载于:https://www.cnblogs.com/admln/p/test-deployDevelopment.html