[b][color=green][size=x-large]散仙上篇博客,介绍了Hadoop基于单机模式下的伪分布式的部署,那么今天我们来看下Hadoop完全分布式的部署,其实只要伪分布式部署的会了,那么完全分布式的相对来说就很简单了,只要我们在一台机器上部署好,然后远程拷贝给其他的子节点就可以了。
散仙用的是Centos6.4的版本,hadoop1.2.1的版本,其他的一些linux系统都是大同小异,关于SSH的配置及一些准备工作,在这里就不多说了,不会的可以参照散仙的上两篇博客进行配置
下面进入正题,散仙总共使用3个节点来部署完全分布式集群,下面是机器的ip地址,以及机器名
[/size][/color][/b]
[b][color=olive][size=x-large]
[table]
|IP地址|节点名
|10.2.143.5|Master
|10.2.143.36|Slave
|10.2.143.37|Slave2
[/table]
[/size][/color][/b]
[b][color=violet][size=x-large]我们只在Master节点上配置,然后拷贝给其他节点,下面是master的详细配置。
1,首先,我们需要配置的是在conf文件夹下找到hadood-env.sh这个文件,然后使用命令vi hadood-env.sh编辑此文件并取消注释的JAVA HOME,然后配上我们自己的的JDK路径,截图如下
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5570/0e877a9c-c4c3-34ef-b50a-c4006c69803d.jpg[/img],
[b][color=olive][size=x-large]
2,第二我们需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://10.2.143.5:9000</value>
</property>
截图如下:
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5572/e5970709-91ae-3267-bd68-7066a84b8c50.jpg[/img]
[b][color=olive][size=x-large]
3,第三我们需要配置的是hdfs.site.xml这个文件,因为散仙机器的有2个Slave,所以
节点数写2就可以了,注意默认是3
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
截图如下
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5574/00cd6965-395f-38d8-a996-7b997aaf783f.jpg[/img]
[b][color=olive][size=x-large]4,第四我们需要配置conf下的mapred-site.xml文件
<property>
<name>mapred.job.tracker</name>
<value>10.2.143.5:9001</value>
</property>
截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5621/243955db-b743-3ac4-be94-d61450b0be9e.jpg[/img]
[b][color=olive][size=x-large]5,第五我们需要配置conf下的master文件,直接把主节点的IP,加入其中即可,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5600/1dfebd6b-3c48-361a-b125-3e351a92d1ce.jpg[/img]
[b][color=olive][size=x-large]6,第六我们需要配置conf下的slave文件,直接把子节点的IP,加入其中即可,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5602/84783d12-cbc6-346d-8432-4113b923da9c.jpg[/img]
[b][color=green][size=x-large]配置完成之后,我们在主节点上,执行bin/hadoop namenode -format 进行格式化,格式化完毕之后,就可以通过scp进行远程拷贝到子节点了,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5606/3a2afdaa-0a20-3296-b81c-b40588a98b02.jpg[/img]
[b][color=olive][size=x-large]然后就可以在master节点上,执行启动命令了,
bin/start-all.sh,启动成功之后,可以使用jps命令在各个节点上,查看端口情况。
截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5619/6e076435-aa40-3c32-a5bd-51131312411e.jpg[/img]
[b][color=olive][size=x-large]最后,我们执行service iptables stop命令关闭,各个节点上的防火墙,就可以在Win下访问50030,以及50070端口查看web页面了,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5626/f8d2ea88-a8d3-3aba-8dfb-f92eedeb8398.jpg[/img]
[img]http://dl2.iteye.com/upload/attachment/0090/5628/9a2b0e4f-bdca-3daf-b54c-76465ff4ee6b.jpg[/img]
[b][color=olive][size=x-large]注意一点,如果这个Browse the filesystem这个链接不能正常使用,截图如下[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5631/4db92b11-e516-39b7-827e-38f69517f564.jpg[/img]
[b][color=green][size=x-large]需要配置在win上的C:\Windows\System32\drivers\etc下面的hosts文件,linux则不需要,添加内容和linux上的master节点的hosts文件的内容一致即可,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5633/859e94c7-d77f-3a24-870f-3aa300a5a093.jpg[/img]
[b][color=olive][size=x-large]然后,我们就可以打开此链接了,截图如下:[/size]
[/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5635/6e997f29-818c-3253-9203-6c23a3a7603d.jpg[/img]
[b][color=olive][size=x-large]至此,我们的完全分布式集群部署,已经搭建完毕,停掉集群的命令是bin/stop-all.sh。我们可以上传几个文件做个测试,散仙的配置默认会有2个副本,在这里就不给出具体的操作了,后面的博客,会介绍一下管理操作hadoop的几种shell。写了这么长,配了这么多图,其实只要操作熟练,5分钟之内,就可以搭建完毕,当然前提是我们环境搭建已经很熟练了。[/size][/color][/b]
散仙用的是Centos6.4的版本,hadoop1.2.1的版本,其他的一些linux系统都是大同小异,关于SSH的配置及一些准备工作,在这里就不多说了,不会的可以参照散仙的上两篇博客进行配置
下面进入正题,散仙总共使用3个节点来部署完全分布式集群,下面是机器的ip地址,以及机器名
[/size][/color][/b]
[b][color=olive][size=x-large]
[table]
|IP地址|节点名
|10.2.143.5|Master
|10.2.143.36|Slave
|10.2.143.37|Slave2
[/table]
[/size][/color][/b]
[b][color=violet][size=x-large]我们只在Master节点上配置,然后拷贝给其他节点,下面是master的详细配置。
1,首先,我们需要配置的是在conf文件夹下找到hadood-env.sh这个文件,然后使用命令vi hadood-env.sh编辑此文件并取消注释的JAVA HOME,然后配上我们自己的的JDK路径,截图如下
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5570/0e877a9c-c4c3-34ef-b50a-c4006c69803d.jpg[/img],
[b][color=olive][size=x-large]
2,第二我们需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://10.2.143.5:9000</value>
</property>
截图如下:
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5572/e5970709-91ae-3267-bd68-7066a84b8c50.jpg[/img]
[b][color=olive][size=x-large]
3,第三我们需要配置的是hdfs.site.xml这个文件,因为散仙机器的有2个Slave,所以
节点数写2就可以了,注意默认是3
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
截图如下
[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5574/00cd6965-395f-38d8-a996-7b997aaf783f.jpg[/img]
[b][color=olive][size=x-large]4,第四我们需要配置conf下的mapred-site.xml文件
<property>
<name>mapred.job.tracker</name>
<value>10.2.143.5:9001</value>
</property>
截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5621/243955db-b743-3ac4-be94-d61450b0be9e.jpg[/img]
[b][color=olive][size=x-large]5,第五我们需要配置conf下的master文件,直接把主节点的IP,加入其中即可,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5600/1dfebd6b-3c48-361a-b125-3e351a92d1ce.jpg[/img]
[b][color=olive][size=x-large]6,第六我们需要配置conf下的slave文件,直接把子节点的IP,加入其中即可,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5602/84783d12-cbc6-346d-8432-4113b923da9c.jpg[/img]
[b][color=green][size=x-large]配置完成之后,我们在主节点上,执行bin/hadoop namenode -format 进行格式化,格式化完毕之后,就可以通过scp进行远程拷贝到子节点了,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5606/3a2afdaa-0a20-3296-b81c-b40588a98b02.jpg[/img]
[b][color=olive][size=x-large]然后就可以在master节点上,执行启动命令了,
bin/start-all.sh,启动成功之后,可以使用jps命令在各个节点上,查看端口情况。
截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5619/6e076435-aa40-3c32-a5bd-51131312411e.jpg[/img]
[b][color=olive][size=x-large]最后,我们执行service iptables stop命令关闭,各个节点上的防火墙,就可以在Win下访问50030,以及50070端口查看web页面了,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5626/f8d2ea88-a8d3-3aba-8dfb-f92eedeb8398.jpg[/img]
[img]http://dl2.iteye.com/upload/attachment/0090/5628/9a2b0e4f-bdca-3daf-b54c-76465ff4ee6b.jpg[/img]
[b][color=olive][size=x-large]注意一点,如果这个Browse the filesystem这个链接不能正常使用,截图如下[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5631/4db92b11-e516-39b7-827e-38f69517f564.jpg[/img]
[b][color=green][size=x-large]需要配置在win上的C:\Windows\System32\drivers\etc下面的hosts文件,linux则不需要,添加内容和linux上的master节点的hosts文件的内容一致即可,截图如下:[/size][/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5633/859e94c7-d77f-3a24-870f-3aa300a5a093.jpg[/img]
[b][color=olive][size=x-large]然后,我们就可以打开此链接了,截图如下:[/size]
[/color][/b]
[img]http://dl2.iteye.com/upload/attachment/0090/5635/6e997f29-818c-3253-9203-6c23a3a7603d.jpg[/img]
[b][color=olive][size=x-large]至此,我们的完全分布式集群部署,已经搭建完毕,停掉集群的命令是bin/stop-all.sh。我们可以上传几个文件做个测试,散仙的配置默认会有2个副本,在这里就不给出具体的操作了,后面的博客,会介绍一下管理操作hadoop的几种shell。写了这么长,配了这么多图,其实只要操作熟练,5分钟之内,就可以搭建完毕,当然前提是我们环境搭建已经很熟练了。[/size][/color][/b]