Hadoop1.2.1完全分布式部署

最新推荐文章于 2024-03-18 17:53:34 发布

spring292713

最新推荐文章于 2024-03-18 17:53:34 发布

阅读量1.2k

点赞数

分类专栏： Hadoop 文章标签： Hadoop 分布式

2 篇文章 0 订阅

订阅专栏

首先确保各个节点主机之间能够SSH无密码访问，关于SSH无密码登陆的配置方法，参考 http://blog.csdn.net/spring292713/article/details/14000737

只在Master节点上配置，然后拷贝给其他节点，下面是master的详细配置。

1) 首先，需要配置的是在conf文件夹下找到hadood-env.sh这个文件，然后使用命令vi hadood-env.sh编辑此文件并取消注释的JAVA HOME，然后配上我们自己的的JDK路径，截图如下：

2) 第二我们需要配置的是conf下的core.site.xml这个文件 ,添加：

<property> 
<name>fs.default.name</name> 
<value>hdfs://192.168.85.152:9000</value> 
</property>

其中，192.168.85.152是Master主机的IP；截图如下：

3) 第三我们需要配置的是hdfs.site.xml这个文件，因为Salve机器的有1个Slave，所以
节点数写1就可以了，注意默认是3

<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property>

截图如下 :

4) 第四我们需要配置conf下的mapred-site.xml文件

<property> 
<name>mapred.job.tracker</name> 
<value>192.168.85.152:9001</value> 
</property>

其中，192.168.85.152是Master主机的IP；截图如下：

5) 第五我们需要配置conf下的master文件，直接把主节点的IP，加入其中即可，截图如下：

6) 第六我们需要配置conf下的slave文件，直接把子节点的IP，加入其中即可，截图如下：

7) 配置完成之后，我们在主节点上，执行bin/hadoop namenode -format 进行格式化，如图：

8) 格式化完毕之后，就可以通过scp进行远程拷贝到子节点了，截图如下：

9) 然后就可以在master节点上，执行启动命令:bin/start-all.sh,

启动成功之后，可以使用jps命令在各个节点上，查看端口情况，截图如下：

至此，我们的完全分布式集群部署，已经搭建完毕，停掉集群的命令是bin/stop-all.sh。

关注

专栏目录