hadoop 安装 配置 平台搭建

本平台是基于vmware+Ubuntu的,所以平台搭建基础是vmare上面安装ubuntu系统。

系统安装就不在说了。

NOTE:每个ubuntu上的用户名必须一致。下面我的用户名为zgw。


分为三步安装过程:jdk的安装,ssh无密码登录,最后是hadoop安装配置。


一 jdk的安装

(参考网址:http://blog.sina.com.cn/s/blog_81631744010137iy.html

首先将*.tar.gz解压(目录home/zgw/)

具体方法为:tar -xzvf *.tar.gz

 

设置环境变量:

sudo gedit /etc/profile

在结尾处加上:

JAVA_HOME=/home/zgw/jdk1.7.0

export JRE_HOME=/home/zgw/1.7.0/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

exportPATH=$JAVA_HOME/bin/:$JRE_HOME/bin:$PATH

 

Ubuntu修改默认jdk

update-alternatives --install/usr/bin/java java /home/zgw/jdk1.7.0/bin/java 300

update-alternatives --install/usr/bin/javac javac /home/zgw/jdk1.7.0/bin/javac 300

 

通过这一步将我们安装的jdk加入java选单

update-alternatives --config java

 

检查是否成功:

Java –version


成功。


二 ssh 安装

1 安装ssh:sudo apt-get install ssh

2 设置ssh(参考:http://www.net527.cn/a/caozuoxitong/Linux/2010/0106/2640.html)

产生文件夹.ssh(/home/zgw):  mkdir .ssh

步骤如下:

移动到.ssh目录:cd .ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

测试本地:ssh localhost . 无密码登陆则成功。

 

对每个节点(假设其中一个ip:192.168.25.129):

产生文件夹.ssh(/home/zgw):  mkdir .ssh

移动到.ssh目录:cd .ssh

执行ssh-keygen -t rsa

之后再把主节点的rsa.pub 复制给每个节点的authorized_keys:

scp id_dsa.pub zgw@192.168.25.129:/home/jsj/.ssh/

然后再节点上:执行cat id_rsa.pub >>authorized_keys

最后验证:ssh 192.168.25.129



三 hadoop 平台搭建

(参考:http://blog.sina.com.cn/s/blog_611317b40100t5od.html)

1        修改机器名和hosts文件。

Ip为192.168.25.128的虚拟机,机器名叫master

Ip为192.168.25.130的虚拟机,机器名叫slave1

Ip为192.168.25.129的虚拟机,机器名叫slave2


第一步:修改虚拟机的机器名

对master ,将机器名改为mster

$ sudo nano /etc/hosthome

 将内容改为master

slave,将机器名分别改为slave1,slave2

$ sudo nano /etc/hosthome

分别改为slave1,slave2

第二步:修改虚拟机的/etc/hosts文件

masterslave

sudo nano  /etc/hosts

进入文件后原内容删除加入如下内容。

    127.0.0.1 localhost

    192.168.25.128 master master

    192.168. 25.130 slave1 slave1

    192.168.25.129 slave2 slave2


2     在虚拟机上分别安装hadoop

第一步:将 hadoop-1.0.4.tar.gz 文件拷贝到 /home/zgw 目录下.

第二步:root@master:~/home/zgw/$ tar -xzvf hadoop-0.20.1.tar.gz

//将文件解压。

第三步:修改环境变量:sudo gedit  /etc/profile

Note:gedit不行的话,就用vi

加入以下内容:

export HADOOP_HOME=/home/zgw/hadoop-1.0.4

export PATH=$HADOOP_HOME/bin:$PATH

第四步:更改conf目录下的conf/core-site.xml, conf/hdfs-site.xml,conf/mapred-site.xml,conf/hadoop-env.sh,conf/masters,conf/slaves 文件。

进入hadoop_env.sh.加入如下信息:

export JAVA_HOME=/home/zgw/jdk1.7.0

文件masters.加入:192.168.25.128

文件slaves加入:192.168.25.129

文件core-site.xml,加入如下信息:

<configuration>

       <property>

      <name>hadoop.tmp.dir</name>

      <value>/home/zgw/tmp</value>

        <description>A basefor other temporary directories.</description>

       </property>

       <!-- file system properties-->

       <property>

          <name>fs.default.name</name>

          <value>hdfs://192.168.25.128:9000</value>

       </property>

</configuration>

 

文件mapre-site.xml加入如下信息:

<configuration>

<property>

     <name>mapred.job.tracker</name>

     <value>192.168.25.128:9001</value>

</property>

</configuration>

 

第五步:zgw@master:~/$ scp –r hadoop-1.0.4 zgw@slave2:/home/zgw/hadoop-1.0.4

//将文件hadoop-1.0.4拷贝到其它两个虚拟机上就可以了。

  至此hadoop安装完成。环境变量别忘了。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值