hadoop搭建中遇到的问题汇总

1. ssh免密码登录

最优方案推荐：

http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html

2. datanode的问题

若出现以下情况：

最近在管理集群时发现明明所有数据节点都已经正常启动了，而通过命令Hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时，通过web页面查看http://master:50070，在Live Node那一栏也显示只有一个节点，点击进入该节点查看情况，发现是node1，但诡异的是：这时候点击刷新，刷新后的live node数仍然为1，但却变为了node2，反复刷新会发现不停地在node1和node2之间切换（由于我只有两个datanode，若超过两个说不定会在所有的datanode间切换）

解决方案是：

http://blog.csdn.net/wk51920/article/details/51729460

3. 如何用命令行进行集群检查

hadoop dfsadmin -report

4 对集群进行一些简单的测试

http://blog.csdn.net/ab198604/article/details/8271860

5. hadoop的安全模式

http://blog.csdn.net/hguisu/article/details/7261480