简单的HDFS集群部署流程

[b][size=medium]环境说明和准备[/size][/b]
--------------------------------------------------

[b][size=large]所需软件：[/size][/b]

[size=medium]JDK-1.6.0.32
HADOOP- 1.0.3[/size]

[b][size=large]环境说明：[/size][/b]

[size=medium]集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，节点IP地址分布如下：[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8754/7de05397-2bf5-367e-b65d-69856033b072.png[/img]

[size=medium]安装centOS5.5操作系统

管理员/密码：root/pku218
用户:hadoop/hadoop[/size]

[color=darkred]******************************************************************************************************************[/color]

[b][size=x-large]详细配置流程：[/size][/b]
--------------------------------------------------

[size=x-large]************************
JDK的安装
************************[/size]

[size=medium]1.root登陆，在/usr下建一个java文件夹和一个hadoop文件夹，默认用户和组是root，需要修改文件夹的属性，使其属于hadoop：
chown –R hadoop:hadoop hadoop
chown –R hadoop:hadoop java[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8760/607e7f7b-f3ed-331e-acf3-18ad112bcb7f.png[/img]


[size=medium]2.将软件分别copy至文件夹中[/size]
[img]http://dl.iteye.com/upload/attachment/0070/8764/1ea0309e-492e-3ab0-b1e5-0ba41639625a.png[/img]


[size=medium]3.解压JDK： ./jdk-6u32-linux-i586.bin[/size]
[img]http://dl.iteye.com/upload/attachment/0070/8872/bb60cf9a-2f3d-3dfb-a6d2-9baad44d61cf.png[/img]


[size=medium]4. 配置环境变量：[/size]
[size=medium]
1) 切换到root下
2) vim /etc/profile
3) 再最后添加：
exports JAVA_HOME=/usr/java/jkd1.6.0_32(这个视jdk的安装路径而定)
exports CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
exports PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
4) 保存后，重启电脑
5) 完成后查看：java –version，正常情况下如下图，应该是安装后的版本：[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8874/64367e3d-9674-311d-a0fa-830c1a97bbd4.png[/img]


[size=x-large]************************
配置IP和修改主机名
************************[/size]

[size=medium]1.root身份登录：vim /etc/sysconfig/network-script/ifcfg-eth0[/size]

[size=medium]2.在其中添加如下信息：[/size]

[size=medium]BROADCAST=192.168.0.255
IPADDR=192.168.0.X
NETMASK=255.255.255.0
NETWORK=192.168.0.0
GATEWAY=192.168.0.1[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8876/3f678fca-ae09-3536-805e-6c60e4d4fa44.png[/img]

[size=medium]3.重启电脑[/size]

[size=medium]4.在终端输入/sbin/ifconfig查看IP配置情况，配置正确如下图显示：[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8878/b576b49a-ec7a-3d04-a064-4b0817ae335b.png[/img]

[color=red][size=medium]注意，四台电脑分别配置IP[/size][/color]


[size=medium]5.在root下，在终端输入hostname new-hostname（输入自己定义的名称，比如slave1）[/size]

[size=medium]6.在root下，修改/etc/sysconfig/network中的HOSTNAME为自定义名称[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8880/9b6b4060-f7c9-3e66-88a7-400490cc8b8c.png[/img]

[size=medium]7.切换回hadoop用户状态下[/size]


[size=x-large]************************
配置SSH
************************[/size]

[color=red][size=medium]master和slave都要安装ssh[/size][/color]

[size=medium]1. 终端输入：ssh-keygen –t rsa –P ‘’[/size]
[color=red][size=medium]注意，ssh和-keygen之间没有空格，rsa后面是大写P，最后两个单引号之间也没有空格[/size][/color]


[size=medium]2.提示输入文件名保存key值，直接回车在slave的主文件夹下进入.ssh，
可以查看到两个文件，修改.ssh文件夹的权限： chmod –R 700 .ssh[/size]
[img]http://dl.iteye.com/upload/attachment/0070/8885/0339149c-cc74-3fb7-b262-d48a2dca7ab5.png[/img]


3.[size=medium]在master终端输入: scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器ip:~/[/size]
[color=red][size=medium]注意：这时候需要输入slave的密码[/size][/color]
[img]http://dl.iteye.com/upload/attachment/0070/8887/2499898c-4573-3d20-9397-9af3aa63668f.png[/img]


[size=medium]
4. 在slave终端输入: cat id_rsa.pub >> ~/.ssh/authorized_keys
在~/.ssh下产生一个authorized_keys文件


5. 修改authorized_keys权限到600： chmod 600 authorized_keys


6. 切换到root身份，编辑配置文件： vim /etc/ssh/sshd_config
[/size]

[color=red][size=medium]注意，第三行AuthorizedkeysFile后面应跟绝对路径：
/home/hadoop/.ssh/authorized_keys[/size][/color]

[img]http://dl.iteye.com/upload/attachment/0070/8889/0b27e9c2-63a1-30d6-980d-4006b751e17d.png[/img]


[size=medium]7.在slave的root身份下，启动/sbin/service服务，如下图：[/size]
[img]http://dl.iteye.com/upload/attachment/0070/8891/6d6d9d67-0453-3c29-8600-adb3f40caf41.png[/img]


[size=medium]8.在master的root身份下，启动/sbin/service服务，同上[/size]

[size=medium]9.从master测试能否直接登录slave而不需要密码，在master终端输入：
ssh 用户名@ip地址 ---比如：ssh hadoop@192.168.0.3[/size]

[size=medium]10.测试成功后，在master终端中exit出来[/size]


[size=x-large]************************
安装HADOOP
************************[/size]

[size=medium]1.在slave的hadoop用户状态下，进入/usr/hadoop，建立一个新文件tmp.然后在hadoop文件夹下直接解压hadoop1.0.3
tar –zxvf hadoop.xxx.tar.gz[/size]

[size=medium]2.进入hadoop1.0.3文件夹，进入其中的src：
1) 进入core文件夹，拷贝core_default.xml到hadoop1.0.3下的conf目录
2) 进入hdfs文件夹，拷贝hdfs_default.xml到hadoop1.0.3下的conf目录
3) 进入mapred文件夹，拷贝mapred_default.xml到hadoop1.0.3下的conf目录[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8895/5afe47b9-818d-3350-ad66-a514aae9ab39.png[/img]

[size=medium]

3. 进入conf目录，删除其中的core-site.xml,hdfs-site.xml,mapred-site.xml，并同时把刚才加入的三个xxx.default.xml文件的文件名改成xxx-site.xml（就是替换而已）

4.修改conf目录下的hadoop-env.sh文件
1) 把export JAVA_HOME前的#去掉
2) 修改JAVA_HOME的内容为我们之前设置的JAVA_HOME的值即可


5.修改core-site.xml中的的内容：
1) 修改hadoop.tmp.dir这个property的value，改成刚才我们建立的tmp文件夹的绝对路径
[/size]
[img]http://dl.iteye.com/upload/attachment/0070/8903/79ca7828-02fb-3fd1-8813-c867026d3f11.png[/img]

[size=medium] 2) 修改fs.default.name这个property的value，改成hdfs://192.168.0.2:9000[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8905/4e0a8507-1de8-3dde-81be-6851c217f58e.png[/img]

[size=medium]
6. 修改hdfs-site.xml的内容：
修改dfs.replicaion这个property的value为1[/size]
[img]http://dl.iteye.com/upload/attachment/0070/8907/cf916e6a-f5a3-3d3c-9f78-001629b95368.png[/img]

[size=medium]
7. 修改mapred-site.xml的内容：
修改mapred.job.tracker这个property的value为http://192.168.0.2:9001[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8911/1d0ff85b-1c54-36b2-8e93-7b3e57321bea.png[/img]

[size=medium]
8.在conf目录下，修改文件masters的内容，该为192.168.0.2，如图：[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8913/0991dc6c-ca86-3960-8522-e48ce99db9db.png[/img]


[size=medium]9.进入到hadoop1.0.3目录下[/size]

[size=medium]10.初始化，在slave终端输入: bin/hadoop namenode –format[/size]

[img]http://dl.iteye.com/upload/attachment/0070/8915/48f48a31-757a-3514-b9d6-3ed938b1ee15.png[/img]


[size=medium]11.配置完毕
[/size]