hadoop-1.2.1集群-2014.5

目录
一.规划 ............................................................................................................................................. 2
二、操作步骤： ............................................................................................................................... 3
1.添加网络........................................................................................................................................ 3
2.复制6 个centos ............................................................................................................................ 3
3.更改网段,hostname,IP 地址 ......................................................................................................... 4
4.切换hadoop 用户更改和复制host 映射 .................................................................................... 6
5.在主节点上配置SSH 免登陆，复制到其他5 个节点 ................................................................ 8
6.在主节点更改conf 配置文件，复制到其他5 个节点 ............................................................... 9
7.format 后，start-all.sh 测试启动 ................................................................................................ 11
三.上传文件到分布式系统中，完成mapreduce，查看数据块 ................................................. 14

 

一.规划

 构建6节点集群，其中主节点，secondarynamenode,jobTracker分别为独立的3个主机，从节点3个。

主机名	配置	IP	NetMask	GateWay
Mnode(主节点namenode)	2G，30G+20*3G	192.168.179.10	255.255.255.0	192.168.179.254
Snode(secondarynamenode)	2G，30G+20*3G	192.168.179.11	255.255.255.0	192.168.179.254
JTnode(jobtracker)	2G，30G+20*3G	192.168.179.12	255.255.255.0	192.168.179.254
Slave1(从节点)	2G，30G+20*3G	192.168.179.101	255.255.255.0	192.168.179.254
Slave2(从节点)	2G，30G+20*3G	192.168.179.102	255.255.255.0	192.168.179.254
Slave3(从节点)	2G，30G+20*3G	192.168.179.103	255.255.255.0	192.168.179.254

1.添加一个网络

2.复制6个centos主机

3.更改hostname,更改IP地址

4.使用CRT连接，切换hadoop用户，在主节点更改hosts映射，复制到其他5个节点

5.在主节点上配置SSH免登陆，复制到其他5个节点

6.在主节点更改conf配置文件，复制到其他5个节点

7.format后，start-all.sh测试启动

9.hadoop命令练习

10.在eclipse中编辑hadoop源文件，完成练习

二、操作步骤：

1.添加网络

2.复制6个centos（注意使用链接克隆，节省空间和时间）

z

3.更改网段,hostname,IP地址                          //选择vmnet16

vi/etc/udev/rules.d/70-persistent-net.rules

                                              //注释掉原eth0,将eth1改为eth0,复制原eth1 MAC地址

vi/etc/sysconfig/network-scripts/ifcfg-eth0          //更改IP地址、MAC地址 注意DHCP设置

service networkstart                                                  //重启网络服务，如果失败可以重启系统

vi /etc/sysconfig/network                           //更改hostname

 

 

 

重启后检查

vi /etc/sysconfig/network                           //更改hostname

 4.切换hadoop用户更改和复制host映射

//使用CRT连接，切换hadoop用户，在主节点更改hosts映射，复制到其他5个节点

vi /etc/hosts

scp /etc/hosts 192.168.179.11:/etc/

scp /etc/hosts 192.168.179.12:/etc/

scp /etc/hosts 192.168.179.101:/etc/

scp /etc/hosts 192.168.179.102:/etc/

scp /etc/hosts 192.168.179.103:/etc/

 

 

 

5.在主节点上配置SSH免登陆，复制到其他5个节点

cd/home/hadoop

ssh-keygen -trsa

cd .ssh

cat id_rsa.pub> authorized_keys

scpauthorized_keys Slave1:/home/hadoop/.ssh/  //克隆鉴权

scpauthorized_keys Slave2:/home/hadoop/.ssh/

scpauthorized_keys Slave3:/home/hadoop/.ssh/

配置ssh免登陆

克隆ssh免登陆到其他节点

6.在主节点更改conf配置文件，复制到其他5个节点

vihadoop-env.sh

export JAVA_HOME=/usr/local/java7               //在文件中增加java路径

vicore-site.xml                               //加入主节点主机名，也可以是IP地址

scp -r /hadoop/hadoop-1.2.1 Snode:/hadoop/

scp -r /hadoop/hadoop-1.2.1 JTnode:/hadoop/

scp -r /hadoop/hadoop-1.2.1 Slave1:/hadoop/

 

scp -r /hadoop/hadoop-1.2.1 Slave2:/hadoop/

scp -r /hadoop/hadoop-1.2.1 Slave3:/hadoop/

 

vihdfs-site.xml //将value值改为2或3

vimapred-site.xml //添加jobtracker

vimasters                 //添加secondarynode主节点

vislaves           //添加从节点

克隆到其他节点

scp -r /hadoop/hadoop-1.2.1 Snode:/hadoop/

7.format后，start-all.sh测试启动

 [hadoop@Mnodebin]$ ./hadoop namenode -format

                                               ./start-all.sh

启动服务并查看

发现jobtrackersecondnamenode都没有起来

Jobtracker无法启动解决方案 ：

dfs与mapred需要分开启动

dfs需要namenode启动

mapred需要jobtracker启动

 I:给三台slave节点分配jobtracker免登陆认证

cat id_rsa.pub > authorized_keys2

scp authorized_keys2 Slave1:/home/hadoop/.ssh/

scp authorized_keys2 Slave2:/home/hadoop/.ssh/

scp authorized_keys2 Slave3:/home/hadoop/.ssh/

 II:使用namenode启动dfs

./start-dfs.sh

 III:使用jobtracker启动mapred

./start-mapred.sh

测试结果如下：启动正常

ps:如果发现datanode有问题可以删除/hadoop/data目录，重新format后再测试

三.上传文件到分布式系统中，完成mapreduce，查看数据块

bin/hadoop fs-put LICENSE1.txt /lic/testCC1.txt

  /hadoop/hadoop-1.2.1/bin/hadoopjar hadoop-examples-1.2.1.jar wordcount /lic /lic_res

bin/hadoopfsck /lic/testCC1.txt-blocks

查看数据块