unbuntu搭建单机hadoop的注意事项

搭建过程参考：
http://blog.csdn.net/hitwengqi/article/details/8008203
http://blog.csdn.net/zhaoyl03/article/details/8657104

ssh手动安装过程参考：
http://www.360doc.com/content/13/0809/11/13159363_305811289.shtml

java手动安装过程部分参考：
http://jingyan.baidu.com/article/d621e8dae805272865913fa7.html
记得要解压pack文件：
http://blog.csdn.net/andkylee/article/details/5093078

相关文件下载方法：
在百度输入“文件名 site:http://download.chinaunix.net”

安装过程中出现的部分问题及解决方法：
1
要确保所有的操作都是在用户hadoop下完成的，所以将该hadoop文件夹的属主用户设为hadoop：
sudo chown -R hadoop:hadoop hadoop
同时创造的tmp，hdfs，hdfs/name，hdfs/data都是属于用户hadoop的，否则可能出现以下问题：
1）dataNode：
org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: All specified directories are not accessible or do not exist.
解决方法：更改data文件夹拥有者为hadoop
sudo chown -R hadoop:hadoop data
2）nameNode：
log显示文件夹name不能进入
3）TaskTracker：
ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because org.apache.hadoop.util.DiskChecker$DiskErrorException: No mapred local directories are writable
解决方法：更改tmp文件夹拥有者为hadoop
sudo chown -R hadoop:hadoop tmp

2 dataNode
权限必须是755，不能是777
sudo chmod 755 data

3
java.lang.NoClassDefFoundError: javax/net/SocketFactory
解决方法：将jdk中jre/lib和lib中的pack文件使用unpack200变成jar

4
重新格式化前先删除tmp，hdfs/name，hdfs/data下面的所有文件
比如进入/usr/local/hadoop，输入以下命令：
sudo rm -rf tmp/*
sudo rm -rf hdfs/data/*
sudo rm -rf hdfs/name/*
hadoop namenode -format
bin/start-all.sh

5
如果是根据http://www.360doc.com/content/13/0809/11/13159363_305811289.shtml安装的ssh，记得在安装时要先进入root用户（sudo -i），而且需要重新启动时是使用命令sudo /usr/local/sbin/sshd

6
安装java后，在/etc/profile配置好路径后，若还是找不到jdk，可以执行 . /etc/profile