Linux(CentOS) 安装Hadoop问题集锦

[size=large]问题一：[/size]
在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，查看logs错误信息如下：
[quote]2012-08-29 09:59:21,707 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = java.net.UnknownHostException: SC-026.cfind.com: SC-026.cfind.com: 未知的名称或服务
STARTUP_MSG: args = []
STARTUP_MSG: version = 1.0.3
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May 8 20:31:25 UTC 2012[/quote]
[size=medium]解决方法：[/size]
[code="shell"]# hostname
SC-026.cfind.com[/code]
由于hadoop配置的过程中用的是localhost，相当于主机名，但通过命令hostname命令获取到的主机名是SC-026.cfind.com，所以在/etc/hosts文件中进行映射的时候找不到，查看一下/etc/hosts:
[code="shell"]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.15.45 SC-026.cfind.com SC-026.cfind.com[/code]
再查看一下/etc/sysconfig/network文件：
[code="shell"]# cat /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=SC-026.cfind.com[/code]
那么可以修改/etc/hosts如下：
[code="shell"]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
192.168.15.45 SC-026.cfind.com localhost[/code]
重启服务
[code="shell"]# /etc/rc.d/init.d/network restart
正在关闭接口 eth0： [确定]
正在关闭接口 eth1： [确定]
关闭环回接口： [确定]
弹出环回接口： [确定]
弹出界面 eth0： [确定]
弹出界面 eth1：
正在决定 eth1 的 IP 信息...完成。
[确定][/code]

[size=large]问题二：[/size]
无法正常格式化，在 /tmp/hadoop-root/dfs/name终止：
[code="shell"]# hadoop namenode -format
12/08/29 12:21:18 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = SC-026.cfind.com/192.168.15.45
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.0.3
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May 8 20:31:25 UTC 2012
************************************************************/
Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) y
Format aborted in /tmp/hadoop-root/dfs/name
12/08/29 12:21:20 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at SC-026.cfind.com/192.168.15.45[/code]
[size=medium]
解决方法：[/size]
在格式化前，删除/tmp/hadoop-root/dfs/name文件夹：
[code="shell"]# rm -rf /tmp/hadoop-root/dfs/name[/code]
再格式化。。。

[size=large]问题三：[/size]
出现启动不完整的情况：
[code="shell"]# jps
3572 org.eclipse.equinox.launcher_1.2.0.v20110502.jar
5389 Jps
5326 TaskTracker
5202 JobTracker[/code]
[size=medium]解决方法：[/size]
[code="shell"]# service iptables stop
# /etc/init.d/iptables status
防火墙已停[/code]
在Linux下关闭防火墙，再重新格式化，重启服务。

如还有其他错误信息，查看日志中报错信息即可，日志路径：
[code="shell"]# pwd
/data/software/hadoop-1.0.3/logs[/code]
即在你的安装目录下的logs中。