利用虚拟机virtualbox配置Hadoop开发环境总结

  导师课题未来需要对大规模传感数据进行处理，因此用Hadoop研究怎么处理海量数据。今天完成了Hadoop的安装，期间也遇到了很多问题，总结以备后用。

  主要参考了Hadoop配置安装1和Hadoop配置安装2.

<TIP1>错把校园网环境当做局域网环境

首先在本地电脑（master）上配置了两个虚拟机（slaves），网络设置方式自动DHCP。因此想着这“三台电脑”，通过校园网交换机构成了局域网。这样的一个后果就是虽然NAMENODE和DATANODE都能启动，但是NAMENODE无法监视到DATANODE的运行状态。（=.=计算机网络没学好。。）

<TIP2>设置SSH无密码登陆

master和slave，互相之间都要设置无密码登陆，不然也会造成NAMENODE无法监视到DATANODE。

<TIP3>格式化问题

格式化之后如果需要再次格式化，需要先清除新产生的data，temp文件夹内容，然后格式化，不然也会造成也会造成NAMENODE无法监视到DATANODE。

<TIP4>配置文件设置

Hadoop2.5.1中，配置文件的设置跟hadoop1.x.x略有不同，主要是yarn-site.xml的设置要正确，否则无法执行mapreduce操作。