vm下ubuntu集群安装hadoop

vm下ubuntu集群安装hadoop

1、 在wm下安装ubuntu9.10

2、 更新deb软件包列表：$ sudo apt-get update

3、 安装系统更新 $ sudo apt-get upgrade

4、 安装JDK

$ sudo apt-get install sun-java6-jdk  //默认路径为：/usr/lib/jvm

5、 设置CALSSPATH和JAVA_HOME

$ sudo gedit /etc/environment

添加：CLASSPATH=”.:/usr/lib/jvm/java-6-sun/lib”

 JAVA_HOME=”/usr/lib/jvm/java-6-sun”

6、 调整系统虚拟机的优先顺序

$ sudo gedit /etc/jvm

在文件顶部添加一行

/usr/lib/jvm/java-6-sun

如果文件/etc/jvm不存在则自己新建

7、 下载hadoop-0.20.0.tar.gz

$ cd /home/fly  //设当前用户名为：fly

$ sudo tar xzf hadoop-0.20.0.tar.gz //解压

$ mv hadoop-0.20.0 hadoop //重命名文件夹

$ sudo chown –R fly:fly hadoop //赋于fly权限

8、 更新hadoop环境变量

$ gedit hadoop/conf/hadoop-env.sh

将#export JAVA_HOME= *** 这一行改为：

export JAVA_HOME=/usr/lib/jvm/java-6-sun

9、 配置ssh

$ sudo apt-get install ssh

$ sudo apt-get install rsync

$ ssh-keygen –t dsa –P ‘’ –f  ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ ssh localhost //验证配置成功与否

10、在wm下复制出另外两个虚拟机，并分别把这三个虚线拟分别更名为：dream1、dream2、dream3（更改主机名的方法在这就不写了。）

建立三个虚拟机的通信：

安装过wm后，电脑网络连接里会多出现两个网络连接

设置共享原来的本地连接：

设置虚拟机连接：

其中的IP自己设，DNS可不设置。

在dream1虚拟机里添加一个网络连接设置：

分别再设置另两个dream2,dream3的IP分别为：192.168.100.126、192.168.100.127

注意：今后如需连接互联网则用以前默认的自动获取IP的连接：auto eth0, 三个虚拟机通信见则切换联接：wired connection1

10、 Namenode :dream1

Datenode:dream2\dream3

11、（每个虚拟机都要做）

$ sudo gedit /etc/hosts

添加数据：

192.168.100.125  dream1

192.168.100.126  dream2

192.168.100.127  dream3

12、配置SSH（保证无密码访问）

在dream2\dream3上分别执行

$ scp fly@dream1:/home/fly/.ssh/id_dsa.pub  /home/fly/.ssh/dream1_dsa.pub

$ cat  ~/.ssh/dream1.pub  >>  ~/.ssh/authorized_keys

在dream1上执行

$ scp fly@dream1:/home/fly/.ssh/id_dsa.pub  /home/fly/.ssh/dream1_dsa.pub

$ cat  ~/.ssh/dream1.pub  >>  ~/.ssh/authorized_keys

13、配置conf/masters , conf/slaves

在所有节点上：

<hadoop 目录>/conf/masters加入一行：dream1

<hadoop 目录>/conf/slaves加入行：

dream2

dream3

14、配置core-site.xml , hdfs-site.xml , mapred-site.xml 

core-site.xml:

hdfs-site.xml:

mapred-site.xml:

15、格式化分布式文件系统 在namenode上

$ sudo bin/hadoop namenode –format

启动HDFS，在namenode上

$ bin/start-all.sh

$ bin/stop-all.sh