UBUNTU虚拟机器上配置Hadoop时遇到的问题以及经验

希望对大家有帮助（注意红字，这是本人遇到过的问题）

一、JAVA_HOME 不正确(WIN7)

是因为JAVA_HOME的路径上有空格引起的。

解决方案：

a:重新安装JDK

b:找到hadoop-2.7.1\etc\hadoop\路径下的hadoop-env.cmd

添加配置：set JAVA_HOME=D:\\PROGRA~1\Java64\jdk7

注意使用D:\\PROGRA~1\替换 D:\\ProgramFiles\

 

二、MyEclipse 配置Hadoop

 1. 打开一个View：

【Window】->【Show View】->【Other...】->【MapReduce Tools】->【Map/Reduce Locations】->【OK】

2. 添加Hadoop location：

 

location name: 我填写的是：localhost.
Map/Reduce Master 这个框里
Host：就是jobtracker 所在的集群机器，这里写localhost
Hort：就是jobtracker 的port，这里写的是9999
这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  
DFS Master 这个框里
Host：就是namenode所在的集群机器，这里写localhost
Port：就是namenode的port，这里写8888
这两个参数就是core-site.xml里面fs.default.name里面的ip和port
（Use M/R master host，这个复选框如果选上，就默认和Map/Reduce Master这个框里的host一样，如果不选择，就可以自己定义输入，这里jobtracker 和namenode在一个机器上，所以是一样的，就勾选上）

 user name：这个是连接hadoop的用户名，因为我是用lsq用户安装的hadoop，而且没建立其他的用户，所以就用lsq。下面的不用填写。
然后点击finish按钮，此时，这个视图中就有多了一条记录。

 

三、hadoop Input path does not exist:

     user是固定不变的 需要自己创建

     zj:即hadoop的用户名，一般为电脑用户名

 

三、hadoop配置文件详解

core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

四、2个Hadoop服务器启动结果

只启动Master服务器，Master服务器自动启动Slave服务器

 

五、关于 Warni