Hadoop 1.2.1 的集群安装 - ubuntu环境

一、  安装概述

本次安装采用虚拟机模拟三个集群，其中一个虚拟机作为master,另外两个分别作为slave1, slave2.

所需软件：

1，  ubuntu-12.04.4-server-i386

2，  Vmware Workstation 8.0

3，  hadoop-1.2.1.tar.gz

4，  jdk 1.7

安装目标是三台集群：

         master192.168.137.110

         slave1192.168.137.120

         slave2192.168.137.130

二、  安装环境准备

2.1   ubuntu的和配置

在虚拟机上安装ubuntu比较简单，在此虐过！

 

安装完之后需要配置ubuntu如下：

1，   设置静态ip地址。

2，   设置主机名

3，   安装jdk

1， 设置静态ip

sudo vi /etc/network/interfaces  设置成如下：

其他两台一样，只是ip不同。

 

2， 配置hosts

检测是否成功

3， 安装jdk

1)      先下载Linux版jdk文件。下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

2)      解压缩jdk

tar –zxvf jdk-7u51-linux-x64.gz

3)      配置环境变量

vim/etc/profile    -- 只会在当前用户下起作用

加入如下内容：（注意将实际jdk安装地址改成自己的。）

exportJAVA_HOME=/java/jdk1.7.0

exportJRE_HOME=/ java/jdk1.7.0/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

4)       检测是否成功

 

到此，已经成功完成准备工作。

         master192.168.137.110

         slave1192.168.137.120

         slave2192.168.137.130

三、  开始安装Hadoop

1.    建立各个节点之间ssh无密码登录

设置各个节点都能无密码互连其实就是使各自的authorized_keys都拥有各自的id_rsa.pub。

1)  ssh-keygen -t  rsa

2)  完成后会在/home/whw/目录下产生完全隐藏的文件夹.ssh，进入.ssh文件夹，然后将id_rsa.pub复制到authorized_keys文件，命令如下，

cp id_rsa.pub authorized_keys

3)  将其他两台机子的id_rsa.pub 负责到同一台机子，添加到authorized_keys的尾部。

cat id_rsa.pub>> authorized_keys

4)  将拥有三台机子的id_rsa.pub的authorized_keys复制到每天机子的.ssh目录下。OK

 

表示成功

表示不成功

 

2.  将hadoop-1.2.1.tar.gz复制到hadoop安装目录，解压：

tar –zxvf hadoop-1.2.1.tar.gz

3.      配置$HADOOP_HOME/conf/hadoop-env.sh

该文件主要配置jdk所在位置：

 

4. 配置$HADOOP_HOME/conf/core-site.xml

该文件主要配置hadoop的master地址和缓存目录。

 

5.      配置$HADOOP_HOME/conf/hdfs-site.xml

该目录主要用于配置hadoop的namenode和datanode的主目录，也就是数据存放目录（当然namenode的主目录不是用于存放数据的，而是用于存放元数据。）

6.配置$HADOOP_HOME/conf/mapred-site.xml

 7. 配置$HADOOP_HOME/conf/masters

masters是配置NameNode主机的主机名该文件只是在NameNode主机配置即可，slave机子不用配置

8.   配置$HADOOP_HOME/conf/slaves

slaves是配置NameNode主机的主机名该文件只是在NameNode主机配置即可，slave机子不用配置

9. 创建master的目录

创建hdfs目录在hdfs目录下再创建name目录

sudo mkdir hdfs

sudo mkdir tmp

进入hdfs目录

sudo mkdir name

创建tmp目录并将权限赋给当前用户。

sudo chmod 777 hdfs

sudo chmod 777 name

sudo chmod 775 tmp

 

10.  创建slave的目录

创建hdfs目录在hdfs目录下再创建data目录

sudo mkdir hdfs

sudo mkdir tmp

进入hdfs目录

sudo mkdir data

创建tmp目录并将权限赋给当前用户。

sudo chmod 755 hdfs (这里一定要注意，权限必须赋对。不是说权限越大就不会出问题。)

sudo chmod 755 data (这里也一样，权限必须赋对。不是说权限越大就不会出问题。)

sudo chmod 775 tmp

 

 

四、  配置完成，启动hadoop

在master机器上，进入$HADOOP_HOME/bin

start-all.sh

 

查看master进程：

 

查看salve进程

 

格式化文件系统

查看datanode节点信息

 

如果按照期间出现错误可以通过查看日志获得错误信息

进入hadoop安装目录   tail -f logs/* 即可查看日志信息。

笔者按照过程中就遇到过给hdfs/data文件赋权限不正确的错误

hadoop相关帖子持续更新中...   关于安装过程中有出现错误，欢迎联系本人邮箱whw15920155302@1263.com 交流！