hadoop完全分布式配置教程

hadoop完全分布式安装配置教程

（本人采用的是三台虚拟机，装的ubuntu12.04的系统）

三台虚拟机，一个namenode节点，两个datanode节点。

1.首先在三台虚拟机建立三个相同用户名的用户，每台虚拟机各建立一个用户。如用户名：hadoop，密码：******

（切记：一定要用户名相同）本人是在安装虚拟机的时候就指定好用户名，如果装完虚拟机再添加用户会比较麻烦。

2.配置ubuntu系统文件

sudo   gedit   /etc/hosts  (三台虚拟机采用相同的配置一样)

127.0.0.1 localhost

192.168.217.90  master

192.168.217.159  slave1

192.168.217.109  slave2

三台虚拟机分别配置 sudo   gedit   /etc/hostname

分别为：（IP与主机名要与上面的hosts对应）

master 

slave1

slave2

3. 设置namenode节点ssh无密码登录访问两个datanode的节点，参考：linux ssh无密码登陆  点击打开链接。

4. 安装JDK，本人使用的是jdk-6u24-linux-i586.bin。

5.先在namenode节点安装和配置hadoop（本人使用的版本是hadoop-1.1.2），再将hadoop安装的整个目录压缩后复制到两个datanode节点再解压，注意：三个节点的hadoop安装路径必须一致。

6.安装hadoop。

下载hadoop-1.1.2.tar.gz，解压之后会生成hadoop-1.1.2的文件夹。

7.文件配置

进入/hadoop-1.1.2/conf 目录

（1） 配置 mapred-site.xml  文件

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

（2）配置core-site.xml 文件

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

（3）配置hdfs-site.xml 文件

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

（4）配置hadoop-env.sh 文件

export JAVA_HOME=/usr/java/jdk1.6.0_24

（5）配置masters文件

master

（6）配置slaves文件

slave1

slave2

8.格式化与启动

每次启动之前一定要执行格式化命令，到安装目录执行相应命令。

格式化命令 ： bin/hadoop   namenode   -format

启动命令： bin/start-all.sh

关闭命令 ：bin/stop-all.sh (关闭后重启一定要先执行格式化命令，否则无法启动namenode进程)。

9.查看是否成功

在每台虚拟机上执行jps命令。

在master主机上使用网页查看

http://localhost:50030  与  http://localhost:50070