Hadoop配置单节点，DataNode没有启动

查看日志：

[python]  view plain  copy

1. [root@slave01 mapred]# tail -100 /opt/modules/hadoop/hadoop-1.0.3/libexec/../logs/hadoop-hadoop-datanode-slave01.log   
2. 2013-11-12 19:19:22,650 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:   
3. /************************************************************  
4. STARTUP_MSG: Starting DataNode  
5. STARTUP_MSG:   host = slave01/10.10.205.200  
6. STARTUP_MSG:   args = []  
7. STARTUP_MSG:   version = 1.0.3  
8. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May  8 20:31:25 UTC 2012  
9. ************************************************************/  
10. 2013-11-12 19:19:27,175 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties  
11. 2013-11-12 19:19:27,272 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.  
12. 2013-11-12 19:19:27,455 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).  
13. 2013-11-12 19:19:27,455 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started  
14. 2013-11-12 19:19:28,054 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.  
15. 2013-11-12 19:19:29,224 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /opt/data/hadoop/hdfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x  
16. 2013-11-12 19:19:29,224 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.  
17. 2013-11-12 19:19:29,224 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode  
18. 2013-11-12 19:19:29,225 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:   

 

发现：Invalid directory in dfs.data.dir: Incorrect permission for /opt/data/Hadoop/hdfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x

处理方式：

[python]  view plain  copy

1. [root@slave01 opt]# ll  
2. total 24  
3. drwxr-xr-x 3 hadoop hadoop 4096 Oct 30 02:52 data  
4. drwxr-xr-x 3 root   root   4096 Oct 30 02:52 modules  
5. drwxr-xr-x 3 root   root   4096 Oct 30 02:30 sun  
6. [root@slave01 opt]# chmod g-w /opt/data/hadoop/hdfs/data  
7. [root@slave01 opt]# cd /opt/data/hadoop/hdfs/data  
8. [root@slave01 data]# ll  
9. total 0  
10. [root@slave01 data]# cd ../  
11. [root@slave01 hdfs]# ll  
12. total 16  
13. drwxr-xr-x 2 hadoop hadoop 4096 Oct 30 20:38 data  
14. drwxrwxr-x 2 hadoop hadoop 4096 Oct 30 20:38 name  

重新启动后检查：

 

[delphi]  view plain  copy

1. [hadoop@master bin]$ hadoop dfsadmin -report  
2. Warning: $HADOOP_HOME is deprecated.  
3.   
4. Configured Capacity: 16002351104 (14.9 GB)  
5. Present Capacity: 10700967966 (9.97 GB)  
6. DFS Remaining: 10700845056 (9.97 GB)  
7. DFS Used: 122910 (120.03 KB)  
8. DFS Used%: 0%  
9. Under replicated blocks: 1  
10. Blocks with corrupt replicas: 0  
11. Missing blocks: 0  
12.   
13. -------------------------------------------------  
14. Datanodes available: 2 (2 total, 0 dead)  
15.   
16. Name: 10.10.205.200:50010  
17. Decommission Status : Normal  
18. Configured Capacity: 8001175552 (7.45 GB)  
19. DFS Used: 61455 (60.01 KB)  
20. Non DFS Used: 2656518129 (2.47 GB)  
21. DFS Remaining: 5344595968(4.98 GB)  
22. DFS Used%: 0%  
23. DFS Remaining%: 66.8%  
24. Last contact: Tue Nov 12 21:03:17 PST 2013  
25.   
26.   
27. Name: 10.10.205.201:50010  
28. Decommission Status : Normal  
29. Configured Capacity: 8001175552 (7.45 GB)  
30. DFS Used: 61455 (60.01 KB)  
31. Non DFS Used: 2644865009 (2.46 GB)  
32. DFS Remaining: 5356249088(4.99 GB)  
33. DFS Used%: 0%  
34. DFS Remaining%: 66.94%  
35. Last contact: Tue Nov 12 21:03:17 PST 2013