VMware虚拟机中搭建Hadoop集群

1、下载的软件： VMware Workstation  Ubuntu  SUN-JDK  Hadoop,可到官网下载
 
2、安装 VMwareWorkstation 虚拟机，并建立 Master 虚拟主机(记住，先是建立一个虚拟机，然后在这个基础上进行clone，这样就能利用已建好的虚拟机，以及在其上安装好的软件和相关配置，达到复用的效果)，同时，在建立虚拟机时应该选择桥接模式，原因不在叙述，可查看相关资料
 
3、在Master主机下，建立hadoop用户（可以选择其他的），以及hadoop组，（在Hadoop集群中建立相同的用户以及组是基本要求）
 
4、Hadoop  集群 IP地址分配：
 
192.168.1.108    master
 
192.168.1.103    node1
 
192.168.1.101    node2
 
当然，自己可根据自己的IP进行分配，为此，需要在Master主机下修改 /etc/hosts文件，加入上面的配置，同时修改 /etc/hostname 中的内容为 master，至于为什么要选择主机名，而不直接用IP地址，主要是为了直观以及可扩展性
 
5、在Master主机下安装java，并配置好环境变量，可参考 http://www.linuxidc.com/Linux/2012-06/62078.htm
 
6、 在Master主机下安装SSH ：
 
1) ssh-keygen -t rsa  一路回车下去即可，即可生成公钥（~/.ssh/id_rsa.pub）和私钥（~/.ssh/id_rsa）文件。
 
7、在Master主机下安装好Hadoop
 
1) 解压缩  tar -xvzf hadoop-0.20.2.tar.gz
 
2) 配置Hadoop环境变量  修改 ~/.bashrc，在文件最后面加上如下配置：
 
export HADOOP_HOME=/home/hadoop/Downloads/hadoop-1.0.4
 
export PATH=$PATH:$HADOOP_HOME/bin
 
3) 配置master和slaves文件 修改 hadoop安装目录下的/conf/masters 文件，http://www.linuxidc.com 内容如下所示：
 
master，
 
以及 hadoop安装目录下的/conf/slaves  文件，内容如下
 
node1
 
node2
 
4) 配置 hadoop安装目录下的/conf/hadoop-env.sh文件，修改 JDK的路径为实际安装路径 ，如下所示：
 
export JAVA_HOME=/home/hadoop/Downloads/jdk1.6.0_37
 
5) 配置 hadoop安装目录下的conf/core-site.xml文件为：
 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<!-- Put site-specific property overrides in this file. -->
 
<configuration>
 
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
    <description></description>
</property>
<property>
<name>Hadoop.tmp.dir</name>
    <value>/myhadoop</value>
    <description></description>
</property>
</configuration>