Windows上的Hadoop实战

        单位近来换了一批新的业务PC，都是两核以上的CPU、2G以上的内存、500G的硬盘。按照日常的监控，这些资源满足业务需求足够有余。于是动起了念头，能不能把这些空闲的资源整合起来一起用呢？刚好在网上看到大名鼎鼎的Hadoop可以跑在Windows上，于是就先动手实验了一把。

 

         在介绍我的实验之前，我要先感谢国内外互联网上无私奉献自己劳动的各位IT界的兄弟姐妹们，依靠他们的成果，使我得以找到完成实验，达成目标的路径。

 

        具体安装的细节就不说了，网络上的资料多得很。主要介绍一下自己的经验所得。首先介绍一下手头的软硬件资源：

        NameNode/JobTracker：            HP笔记本          i5 2.4GHz       8G      500GB        Win7 64位家庭普通版        hadoop 1.1.2        JDK7u21

        DataNode/TaskTracker：            HP台式机          i3 3.3GHz       4G      500GB        Win7 32位专业版               hadoop 1.1.2        JDK7u21

        DataNode/TaskTracker：            联想ThinkPad   i5 2.5GHz       4G       500GB       Win7 64位家庭普通版         hadoop 1.1.2       JDK7u21

       

        首先，安装CygWin（在官网上下的最新版），一定要选上openssh和openssl的包（缺省是不安装的）。 CygWin在各个计算机上的安装目录可以不同。要把CygWin安装目录下的bin目录、usr/bin目录、usr/sbin目录放到系统环境变量Path中。因为，hadoop会执行一些Linux/UNIX形式的命令如bash、whoami等，而这些命令在CygWin中是以Windows系统中的可执行文件形式存放在前面说的目录中。

        CygWin装好之后，以管理员的身份运行Cygwin Terminal，执行ssh-host-config配置SSHD服务。CygWin会在Windows系统中新建一个管理员帐号cyg_server（可以按自己换别的），这个帐号就用来跑hadoop的程序了。过程中有好多地方问yes还是no，我试过全部选yes也试过个别选no（按照网上的资料），结果没发现有什么差别。ssh-host-config执行成功后，SSHD会作为一个系统服务在后台运行，每次系统启动都自动开启。这时，要注意检查或配置Windows的防火墙配置，要放开到SSHD服务的入站连接，我的做法是放开到Cygwin安装目录/usr/sbin/sshd的入站连接。

        Cygwin Terminal下执行mkpasswd -l > /etc/passwd和mkgroup -l > /etc/group，主要用途是将Windows的帐号和组别同步到CygWin下。

        Windows系统中切换到cyg_server用户（这个帐号的描述缺省是Privileged server），运行Cygwin Terminal，执行ssh-keygen，一直敲回车就行。用ls -a可以看到有一个.ssh的目录，把里面的id_rsa,pub导入到authorized_keys，然后把NameNode上的这个authorized_keys文件，拷贝到所有DataNode和TaskTracker的相同位置下，即 cyg_server用户主目录下的.ssh目录。这样cyg_server用户就可以不需要密码就可以远程登录各个计算机和执行命令。

        Hadoop是用java开发的，因此，系统中要有java的运行环境，可以从Oracle的官网下最新的JDK安装，注意是JDK，不是JRE（因为需要用到bin目录下的server目录）。安装的位置必须全部计算机都一样（因为碰到过在DataNode上找不到java程序的情况），那也就是在C：\下面了，给安装目录起一个简短的名称（不要带空格）。在系统环境变量Path中，将JDK安装目录下的bin目录所在路径添加进去。跟SSHD一样，要修改Windows防火墙的入站规则，放开到JDK的java程序网络连接。

        到这里，Hadoop主要的运行条件基本具备了&#