hadoop 集群搭建 三个节点

Hadoop分布式安装（参考hadoop入门手册）

一、安装准备

1、下载hadoop 0.20.2，地址：http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/

2、JDK版本：jdk-6u30-linux-i586.bin （必须是1.6+）

3、操作系统：window7主机 三个虚拟机节点

4、三台机器，192.168.153.132（master），192.168.153.131（slave），192.168.153.133（slave）（具体的话根据你自己的ip设置，ping通即可）

二、安装操作

1、拷贝以上文件到master（我是基于ftp协议上传的文件）。

2、安装JDK，此步省略...(注意权限)

3、解压hdaoop到/usr/hadoopj目录下。tar -zxvf hadoop 0.20.2.tar.gz

4、配置132机器可以通过SSH直接访问131和133。

输入：ssh-keygen -T rsa将会产生一对密钥，一路狂按enter回车键公约和私钥就存储在当前登录用户的.SSH文件夹后面比如我的是lupenglian登陆的在

把公约重新命名具体的你也看到啦，mv 命令实现改名，接着就是把你的公约交给你的slave节点，这里使用scp命令传到

scp filename ip：directory就行啦，最后一步也是最重要的要保存一下ssh-add

5、修改/usr/hadoop-0.20.2/conf/目录下的master文件，内容如下：

192.168.153.132

6、修改/usr/hadoop-0.20.2/conf/目录下的slaves文件，内容如下：

192.168.153.131
192.168.153.133

7、修改/usr/hadoop-0.20.2/conf/hadoop-env.sh文件的环境变量：

#找到对应的行号，vim命令的话命令末实现输入？进行字符串的查找

# The java implementation to use.  Required.
export JAVA_HOME=/usr/java/jdk1.6.0_30

8、修改/usr/hadoop-0.20.2/conf/core-site.xml配置文件，内容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/hadoop</value>#注意hadoop文件夹应该对当前用户有写的权限
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://192.168.153.132:9000</value>#master的ip
</property>
</configuration>

9、修改/usr/hadoop-0.20.2/conf/hdfs-site.xml配置文件，内容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

10、修改/usr/hadoop-0.20.2/conf/mapred-site.xml配置文件，内容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>192.168.153.132:9001</value>
</property>
</configuration>

11、修改ect/hosts配置文件,内容如下：

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost#这一句不能少
192.168.153.132 ubuntu
192.168.153.131 ubuntu1
192.168.153.133 ubuntu2

12、修改/ect/profile配置文件，在末尾追加以下内容，并输入source/etc/profile使之生效：

export JAVA_HOME=/usr/java/jdk1.6.0_30

export JRE_HOME=/usr/java/jdk1.6.0_30/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/usr/hadoop-0.20.2

export PATH=$HADOOP_HOME/bin:$PATH

export PATH=$PATH:$HIVE_HOME/bin






13、将/usr/hadoop-0.20.2拷贝到192.168.153.131和192.168.153.133对应的目录下。将/ect/profile和/etc/hosts也拷贝到132和133机器上。注意profile需要做生效操作，同样是使用scp命令，或者直接是虚拟机的clone操作，这样比较方便。

三、启动/停止hadoop

1、通过shell脚本启动hadoop。

sh /usr/hadoop-0.20.2/bin/start-all.sh

2、停止hadoop

sh /usr/hadoop-0.20.2/bin/stop-all.sh

四、初始配置

1、格式化HDFS文件系统。进入/jz/hadoop-0.20.2/bin目录。执行:

hadoop namenode –format

2、在/usr/hadoop-0.20.2/bin目录下，执行:

hadoop fs -ls /

如果控制台返回结果，表示初始化成功。可以向里面录入数据。

3、通过WEB查看hadoop

查看集群状态	http://192.168.153.132:50070/dfshealth.jsp
查看JOB状态	http://192.168.153.132:50030/jobtracker.jsp

五、注意事项

1、hadoop的安装千万计的修改/etc/hosts文件。修改之后最好是重启机器。

2、master和slaves这2个配置文件可以不拷贝到ubuntu1和ubuntu2机器上，只在master上保存即可。

3、通过web查看hadoop的时候，如果使用IE一些图形工具显示不出来，建议使用opera或是chrome。

4、如果不能启动或出现什么错去可以查看安装hadoop目录下的log文件，上面有详细的异常信息。

附上成功运行的截图