hadoop 安装 配置 平台搭建

本平台是基于vmware+Ubuntu的，所以平台搭建基础是vmare上面安装ubuntu系统。

系统安装就不在说了。

NOTE:每个ubuntu上的用户名必须一致。下面我的用户名为zgw。

分为三步安装过程：jdk的安装，ssh无密码登录，最后是hadoop安装配置。

一 jdk的安装

（参考网址：http://blog.sina.com.cn/s/blog_81631744010137iy.html）

首先将*.tar.gz解压(目录home/zgw/）

具体方法为：tar -xzvf *.tar.gz

 

设置环境变量：

sudo gedit /etc/profile

在结尾处加上：

JAVA_HOME=/home/zgw/jdk1.7.0

export JRE_HOME=/home/zgw/1.7.0/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

exportPATH=$JAVA_HOME/bin/:$JRE_HOME/bin:$PATH

 

Ubuntu修改默认jdk

update-alternatives --install/usr/bin/java java /home/zgw/jdk1.7.0/bin/java 300

update-alternatives --install/usr/bin/javac javac /home/zgw/jdk1.7.0/bin/javac 300

 

通过这一步将我们安装的jdk加入java选单

update-alternatives --config java

 

检查是否成功：

Java –version

成功。

二 ssh 安装

1 安装ssh：sudo apt-get install ssh

2 设置ssh（参考：http://www.net527.cn/a/caozuoxitong/Linux/2010/0106/2640.html）

产生文件夹.ssh(/home/zgw):  mkdir .ssh

步骤如下：

移动到.ssh目录：cd .ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

测试本地：ssh localhost . 无密码登陆则成功。

 

对每个节点（假设其中一个ip:192.168.25.129）：

产生文件夹.ssh(/home/zgw):  mkdir .ssh

移动到.ssh目录：cd .ssh

执行ssh-keygen -t rsa

之后再把主节点的rsa.pub 复制给每个节点的authorized_keys：

scp id_dsa.pub zgw@192.168.25.129:/home/jsj/.ssh/

然后再节点上：执行cat id_rsa.pub >>authorized_keys

最后验证：ssh 192.168.25.129

三 hadoop 平台搭建

（参考：http://blog.sina.com.cn/s/blog_611317b40100t5od.html）

1        修改机器名和hosts文件。

Ip为192.168.25.128的虚拟机，机器名叫master

Ip为192.168.25.130的虚拟机，机器名叫slave1

Ip为192.168.25.129的虚拟机，机器名叫slave2

第一步：修改虚拟机的机器名

对master ,将机器名改为mster

$ sudo nano /etc/hosthome

 将内容改为master

对slave,将机器名分别改为slave1,slave2

$ sudo nano /etc/hosthome

分别改为slave1,slave2

第二步：修改虚拟机的/etc/hosts文件

对master和slave

sudo nano  /etc/hosts

进入文件后原内容删除加入如下内容。

    127.0.0.1 localhost

    192.168.25.128 master master

    192.168. 25.130 slave1 slave1

    192.168.25.129 slave2 slave2

2     在虚拟机上分别安装hadoop

第一步：将 hadoop-1.0.4.tar.gz 文件拷贝到 /home/zgw 目录下.

第二步：root@master:~/home/zgw/$ tar -xzvf hadoop-0.20.1.tar.gz

//将文件解压。

第三步：修改环境变量：sudo gedit  /etc/profile

Note:gedit不行的话，就用vi

加入以下内容：

export HADOOP_HOME=/home/zgw/hadoop-1.0.4

export PATH=$HADOOP_HOME/bin:$PATH

第四步：更改conf目录下的conf/core-site.xml, conf/hdfs-site.xml,conf/mapred-site.xml,conf/hadoop-env.sh,conf/masters,conf/slaves 文件。

进入hadoop_env.sh.加入如下信息：

export JAVA_HOME=/home/zgw/jdk1.7.0

文件masters.加入：192.168.25.128

文件slaves加入：192.168.25.129

文件core-site.xml，加入如下信息：

<configuration>

       <property>

      <name>hadoop.tmp.dir</name>

      <value>/home/zgw/tmp</value>

        <description>A basefor other temporary directories.</description>

       </property>

       <!-- file system properties-->

       <property>

          <name>fs.default.name</name>

          <value>hdfs://192.168.25.128:9000</value>

       </property>

</configuration>

 

文件mapre-site.xml加入如下信息：

<configuration>

<property>

     <name>mapred.job.tracker</name>

     <value>192.168.25.128:9001</value>

</property>

</configuration>

 

第五步：zgw@master:~/$ scp –r hadoop-1.0.4 zgw@slave2:/home/zgw/hadoop-1.0.4

//将文件hadoop-1.0.4拷贝到其它两个虚拟机上就可以了。

  至此hadoop安装完成。环境变量别忘了。