建立在云主机上的完全分布式hadoop集群搭建

最新推荐文章于 2024-05-02 19:05:54 发布

月光下一只赏月的猪

最新推荐文章于 2024-05-02 19:05:54 发布

阅读量2.3k

点赞数

分类专栏： hadoop 文章标签： hadoop集群 hadoop

本文链接：https://blog.csdn.net/qq_16403141/article/details/78273261

版权

本文详述了如何在云主机上利用内网IP搭建一个完全分布式的Hadoop集群，避免了公网IP可能导致的问题。首先介绍了创建云主机的步骤，然后通过远程连接进行环境配置，包括安装JDK、SSH、Rsync和Hadoop。接着配置SSH免密登录和Hadoop环境，最后格式化并启动Hadoop集群。

摘要由CSDN通过智能技术生成

一开始我用的是公网ip来搭建的集群环境，最后遇到了namenode无法启动的问题：

java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException

查了很多资料，最后说是ip的问题，可能是因为IP 不在同一区域里，如果namenode的ip是172.19.144.213，其他的应该是172.19.144.XXX，要保证在同一个子网内，而且，hadoop集群也不推荐使用公网ip来搭建集群，

集群节点最好在同一个子网内，要不然配置会麻烦很多。此外，hadoop集群最好部署在内网，因为其在安全性方面并没有做充分的设计，其设计之初就假定集群运行在一个安全可信的环境。

其中具体的我也不太清楚，所以最后我选择使用内网ip来搭建集群环境。

====================================================

接下来就开始正式搭建环境了

第一步云主机

不是给阿里云打广告，只是说明一个小问题，避免各位踩坑。
在阿里云上的云服务器ECS中点击创建实例即可创建云主机，其中有一个步骤如下：
这里写图片描述
这里设置的密码是登录云主机时的密码，账号默认是root。实例名称就是主机名，也就是linux终端中@符号后面的内容。这里最好设置一下。
只是作为学习的话，不推荐选择高配，太贵了！！！我选择的是最低配的
这里写图片描述
只是作为学习的话，无需太高配啦。
我一共创建了5台云主机。

主机基本信息整理如下：

第二步远程连接

(1)5台云主机：主机使用Ubuntu14.04 64位的操作系统
(2)因为本地是windows系统，所以使用putty来进行远程连接(也可以在linux中直接进行远程连接)
putty最新下载地址：https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html
我下载的是
这里写图片描述
下载得到的是一个exe文件，无需安装，放在桌面，双击即可运行。