ubuntu hadoop完全分布式模式配置

1.安装java环境，配置jdk

2.有三台机器master datanode1 datanode2

IP分别是

master:10.196.80.80

datanode1:10.196.80.81

datanode2:10.196.80.82

master作为NameNode，剩余两台作为DataNode

三台机器拥有相同的用户名和密码。用户名和密码都是hadoop

配置三台机器的etc/hosts

127.0.0.1 localhost

10.196.80.80 master

10.196.80.81 datanode1

10.196.80.82 datanode2

3.SSH配置

$ mkdir .ssh

$ ssh-keygen -t rsa

$ chmod 700 ~/.ssh/

$chmod 600 ~/.ssh/authorized_keys

$ cd ~/.ssh

 

$ cp id_rsa.pub authorized_keys

$ scp authorized_keys datanode1:/home/hadoop/.ssh

$ scp authorized_keys datanode2:/home/hadoop/.ssh

 

 

4.安装hadoop

首先在master上执行解压缩命令

$ tar -zxvf /usr/java/hadoop-0.20.2.tar.gz

配置conf/core-site.xml hdfs-site.xml mapred-site.xml

core-site.xml 中把fs.default.name值改为hdfs://master:9000

hdfs-site.xml中把dfs.replication值改为1

mapred-site.xml中把mapred.job.tracker改为master:9000

masters中加入主机名master

slaves中加入Slaves的主机名datanode1 datanode2

把hadoop安装复制到其它机器上

$ scp -r hadoop-0.20.2 datanode1:/usr/java

$ scp -r hadoop-0.20.2 datanode2:/usr/java

编辑所有机器的conf/hadoop-env.sh，将JAVA_HOME设置各自jdk的安装目录

至此，hadoop已经在集群上配置完毕