Hadoop 安装的几个关键点

1. 一定要选择稳定版，这样会不容易被一些可能是bug的问题搞的头昏脑涨。

   教训1：第一次安装部署用了最新的0.18，首次配置用ip对文件系统的default进行设置，系统正常启动。但是运行程序出现reduce卡死，而且容易挂掉。看了一些帖子，说是用ip就会出现这样的问题。最后放弃ip，配置机器名hostname，出现slave无法连接master的情况。最后退回0.17.2.1的稳定版，一切正常。[当时一怒之下我是把0.16版后的所有版本全部下载下来了。小样，我就不信没有一个版本搞不定，还有hbase的所有历史版本 n_n ]
  
对于上面这个问题，折腾了我将近2个星期（估计是我比较笨吧），也发邮件问了hadoop用户列表的人。最后才收到一个apache的steve同学的回复，提醒我通过nslookup看看我的机器ip能不能正确映射，貌似是一个正确的方法。但是我在master上配置dns时，又出现了奇怪的错误，我的配置应该没有任何问题(在其他同事的机器上配置可以正常运行)，但是就是没有办法解析到我定义的zone... ...再次崩溃... ...

  教训2： ssh的配置。ssh的配置在官方教程里基本没有提，如果直接按照quick start的指引去做，没有看一些其他的资料的话，问题多多。主要的问题就是master启动后无法通过ssh启动slaves的机器。出现密码输入提示后，正确输入密码仍然无法启动slaves。
 

2. hadoop容易出现单点错误，因为一旦master崩溃，整个集群就会瘫痪。当前的hadoop提供了一个secondarynamenode的节点，据一些邮件讨论中介绍的情况，这个节点和运行中的master还是没有实现热切换，这里使得我们在进行产品应用的时候需要特别注意。

3. slaves上的配置只需要维护一份hadoop-site.xml即可，其他的文件如masters，slaves是不需要维护的。

4. 每个slave和master之间，必须要在hosts文件中通过机器名互相能找到，master需要保存所有slaves的hostname和ip映射，slave中的hosts则只要保存master和自己的ip映射即可。

5. 在进行大规模集群部署管理时，最好通过一些自动化／半自动化的工具，如samrtfrog，capistrano等，这样就不用一台一台机器去修改了。希望下次可以写一篇smartfrog的用法小结。

6. ibm开发的mapreduce插件（eclipse）还是挺好用的，可以尝试应用。

7. hadoop中提供的示例，可能wordcount是最容易成功执行和修改的了。cluster架设起来后，应该第一时间通过这个程序对系统进行一些初步的验证。