本平台是基于vmware+Ubuntu的,所以平台搭建基础是vmare上面安装ubuntu系统。
系统安装就不在说了。
NOTE:每个ubuntu上的用户名必须一致。下面我的用户名为zgw。
分为三步安装过程:jdk的安装,ssh无密码登录,最后是hadoop安装配置。
一 jdk的安装
(参考网址:http://blog.sina.com.cn/s/blog_81631744010137iy.html)
首先将*.tar.gz解压(目录home/zgw/)
具体方法为:tar -xzvf *.tar.gz
设置环境变量:
sudo gedit /etc/profile
在结尾处加上:
JAVA_HOME=/home/zgw/jdk1.7.0
export JRE_HOME=/home/zgw/1.7.0/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
exportPATH=$JAVA_HOME/bin/:$JRE_HOME/bin:$PATH
Ubuntu修改默认jdk
update-alternatives --install/usr/bin/java java /home/zgw/jdk1.7.0/bin/java 300
update-alternatives --install/usr/bin/javac javac /home/zgw/jdk1.7.0/bin/javac 300
通过这一步将我们安装的jdk加入java选单
update-alternatives --config java
检查是否成功:
Java –version
成功。
二 ssh 安装
1 安装ssh:sudo apt-get install ssh
2 设置ssh(参考:http://www.net527.cn/a/caozuoxitong/Linux/2010/0106/2640.html)
产生文件夹.ssh(/home/zgw): mkdir .ssh
步骤如下:
移动到.ssh目录:cd .ssh
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
测试本地:ssh localhost . 无密码登陆则成功。
对每个节点(假设其中一个ip:192.168.25.129):
产生文件夹.ssh(/home/zgw): mkdir .ssh
移动到.ssh目录:cd .ssh
执行ssh-keygen -t rsa
之后再把主节点的rsa.pub 复制给每个节点的authorized_keys:
scp id_dsa.pub zgw@192.168.25.129:/home/jsj/.ssh/
然后再节点上:执行cat id_rsa.pub >>authorized_keys
最后验证:ssh 192.168.25.129
三 hadoop 平台搭建
(参考:http://blog.sina.com.cn/s/blog_611317b40100t5od.html)
1 修改机器名和hosts文件。
Ip为192.168.25.128的虚拟机,机器名叫master
Ip为192.168.25.130的虚拟机,机器名叫slave1
Ip为192.168.25.129的虚拟机,机器名叫slave2
第一步:修改虚拟机的机器名
对master ,将机器名改为mster
$ sudo nano /etc/hosthome
将内容改为master
对slave,将机器名分别改为slave1,slave2
$ sudo nano /etc/hosthome
分别改为slave1,slave2第二步:修改虚拟机的/etc/hosts文件
对master和slave
sudo nano /etc/hosts
进入文件后原内容删除加入如下内容。
127.0.0.1 localhost
192.168.25.128 master master
192.168. 25.130 slave1 slave1
192.168.25.129 slave2 slave2
2 在虚拟机上分别安装hadoop
第一步:将 hadoop-1.0.4.tar.gz 文件拷贝到 /home/zgw 目录下.
第二步:root@master:~/home/zgw/$ tar -xzvf hadoop-0.20.1.tar.gz
//将文件解压。
第三步:修改环境变量:sudo gedit /etc/profile
Note:gedit不行的话,就用vi
加入以下内容:
export HADOOP_HOME=/home/zgw/hadoop-1.0.4
export PATH=$HADOOP_HOME/bin:$PATH
第四步:更改conf目录下的conf/core-site.xml, conf/hdfs-site.xml,conf/mapred-site.xml,conf/hadoop-env.sh,conf/masters,conf/slaves 文件。
进入hadoop_env.sh.加入如下信息:
export JAVA_HOME=/home/zgw/jdk1.7.0
文件masters.加入:192.168.25.128
文件slaves加入:192.168.25.129
文件core-site.xml,加入如下信息:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zgw/tmp</value>
<description>A basefor other temporary directories.</description>
</property>
<!-- file system properties-->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.25.128:9000</value>
</property>
</configuration>
文件mapre-site.xml加入如下信息:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.25.128:9001</value>
</property>
</configuration>
第五步:zgw@master:~/$ scp –r hadoop-1.0.4 zgw@slave2:/home/zgw/hadoop-1.0.4
//将文件hadoop-1.0.4拷贝到其它两个虚拟机上就可以了。
至此hadoop安装完成。环境变量别忘了。