Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
http://www.linuxidc.com/Linux/2013-01/77681.htm
这篇文章已经讲得很详细,这里我只写在搭建过程中遇到的问题。
在伪分布模式搭建过程中:
新建data目录时
~/hadoop$ mkdir hdfs/data
要把data的权限设成755
~/hadoop$ sudo chmod 755 hdfs/data
否则在格式化HDFS时会出错,在log可以观察到
org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/hadoop/hadoop-1.0.4/hdfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
2013-04-14 15:14:36,077 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
格式化HDFS后启动
hadoop@ubuntu:~/hadoop-1.0.4/bin$ start-all.sh
用jps命令查看
hadoop@ubuntu:~/hadoop-1.0.4$ jps
14963 SecondaryNameNode
15052 JobTracker
15269 TaskTracker
14548 NameNode
14756 DataNode
15319 Jps
如果都列出来,说明搭建成功,漏一个都是有问题的,可能登不上 http://localhost:50060
或者 http://localhost:50070 显示
Configured Capacity : 0 KB
DFS Used : 0 KB
Non DFS Used : 0 KB
DFS Remaining : 0 KB
DFS Used% : 100 %
DFS Remaining% : 0 %
Live Nodes : 0
Dead Nodes : 0