Ubuntu上安装HADOOP多机完全分布式集群

1、三台机器

host2(NameNode、SecondaryNameNode、JobTracker、DataNode、TaskTracker)

host6(DataNode、TaskTracker)

host8(DataNode、TaskTracker)

vi  /etc/hostname（分别给每一台主机指定主机名）

vi  /etc/hosts（分别给每一台主机指定主机名到IP地址的映射）

 

2、新建用户和组

三台机器上面都要新建用户和组

addgroup hadoop

adduser --ingroup hadoop hadoop

更改临时目录权限

chmod 777 /tmp

注销root以hadoop用户登录

 

3、配置SSH

在host2上面执行

ssh-keygen  -t  rsa（密码为空，路径默认）

该命令会在用户主目录下创建 .ssh 目录，并在其中创建两个文件：id_rsa 私钥文件，是基于 RSA 算法创建，该私钥文件要妥善保管，不要泄漏。id_rsa.pub 公钥文件，和 id_rsa 文件是一对儿，该文件作为公钥文件，可以公开

cp  .ssh/id_rsa.pub  .ssh/authorized_keys

把公钥追加到其他主机的authorized_keys 文件中

ssh-copy-id  -i  .ssh/id_rsa.pub  hadoop@host6

ssh-copy-id  -i  .ssh/id_rsa.pub  hadoop@host8

可以在host2上面通过ssh无密码登陆host6和host8

ssh host2

ssh host6

ssh host8

 

4、准备HADOOP运行环境

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

tar -xzvf hadoop-1.1.2.tar.gz

在/home/hadoop/.bashrc 中追加：

export  PATH=/home/hadoop/hadoop-1.1.2/bin:$PATH

重新登录就生效

ssh  localhost

which  hadoop

 

5、配置HADOOP运行参数

vi conf/masters

 

把localhost替换为：host2

 

vi conf/slaves

 

删除localhost，加入两行:

host2

host6

host8

 

vi conf/core-site.xml 

Xml代码  

1. <property>  
2. <name>fs.default.name</name>  
3. <value>hdfs://host2:9000</value>  
4. </property>  

vi conf/hdfs-site.xml

Xml代码  

1. <property>  
2.  <name>dfs.name.dir</name>  
3.  <value>/home/hadoop/dfs/filesystem/name</value>  
4. </property>  
5. <property>  
6.  <name>dfs.data.dir</name>  
7.  <value>/home/hadoop/dfs/filesystem/data</value>  
8. </property>  
9. <property>  
10.  <name>dfs.replication</name>  
11.   <value>3</value>  
12. </property>  

 

vi conf/mapred-site.xml                   

Xml代码  

1. <property>  
2.  <name>mapred.job.tracker</name>  
3.   <value>host2:9001</value>  
4. </property>  
5. <property>   
6.  <name>mapred.tasktracker.map.tasks.maximum</name>  
7.  <value>4</value>  
8. </property>   
9. <property>   
10.  <name>mapred.tasktracker.reduce.tasks.maximum</name>  
11.  <value>4</value>  
12. </property>  
13. <property>  
14.  <name>mapred.system.dir</name>  
15.  <value>/home/hadoop/mapreduce/system</value>  
16. </property>  
17. <property>  
18.   <name>mapred.local.dir</name>  
19.  <value>/home/hadoop/mapreduce/local</value>  
20. </property>  

 

6、复制HADOOP文件到其他节点

 scp -r /home/hadoop/hadoop-1.1.2  hadoop@host6:/home/hadoop/hadoop-1.1.2
 scp -r /home/hadoop/hadoop-1.1.2  hadoop@host8:/home/hadoop/hadoop-1.1.2

 

7、格式化名称节点并启动集群

hadoop namenode -format

 

8、启动集群并查看WEB管理界面

start-all.sh

访问http://localhost:50030可以查看 JobTracker 的运行状态

访问http://localhost:50060可以查看 TaskTracker 的运行状态

访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及 log 等

 

9、停止集群

stop-all.sh停止集群