(六)云服务器搭建Hadoop集群

上一节我使用了本地的虚拟机搭建了一个小的hadoop集群,这次我将用3台云服务器进行搭建

使用两个阿里云和一个腾讯云搭建Hadoop集群方法和  hadoop分布式集群搭建  一样

但是同样的步骤会出现下面的错误

NameNode和ResourceManager、SecondrryNameNode三个进程都没有开启

主要原因是hosts中三个IP网段不一样导致的问题

解决方法很简单:每个云服务器会有1个公网ip和1个私网ip,在配置hosts映射时,对于对应的服务器要填私网ip。

比如在Master主节点中,Master就需要配置相应的私网ip,从节点配置相应的公网ip

 同样的在Slave服务器上,要将自己的ip设置成内网ip,而将另一台Master服务器的ip设置成外网ip。

补充网络知识:

  服务器公网ip:
  可以用于域名解析ip,服务器远程登录ip,是最主要的服务器ip地址。 
  服务器内网ip:
  不能用于域名解析,不可以直接用于服务器远程登录,其主要作用是:跟当前帐号下的其他同集群的机器通信。 
  

       一些小型企业或者学校,通常都是申请一个固定的IP地址,然后通过IP共享(IP Sharing),使用整个公司或学校的机器都能够访问互联网。而这些企业或学校的机器使用的IP地址就是内网IP,内网IP是在规划IPv4协议时,考虑到IP地址资源可能不足,就专门为内部网设计私有IP地址,一般常用内网IP地址都是这种形式的:10.X.X.X、172.16.X.X 、192.168.X.X等。

         需要注意的是,内网的计算机可向Internet上的其他计算机发送连接请求,但Internet上其他的计算机无法向内网的计算机发送连接请求。 
   公网IP就是除了保留IP地址以外的IP地址,可以与Internet上的其他计算机随意互相访问。我们通常所说的IP地址,其实就是指的公网 IP。互联网上的每台计算机都有一个独立的IP地址,该IP地址唯一确定互联网上的一台计算机。这里的IP地址就是指的公网IP地址。 
   其实,互联网上的计算机是通过“公网IP+内网IP”来唯一确定的,就像很多大楼都是201房间一样,房间号可能一样,但是大楼肯定是唯一的。公网 IP地址和内网IP地址也是同样,不同企业或学校的机器可能有相同的内网IP地址,但是他们的公网IP地址肯定不同。那么这些企业或学校的计算机是怎样。
         IP地址如何共享的呢?这就需要使用NAT(Network Address Translation,网络地址转换)功能。当内部计算机要连接互联网时,首先需要通过NAT技术,将内部计算机数据包中有关IP地址的设置都设成 NAT主机的公共IP地址,然后再传送到Internet,虽然内部计算机使用的是私有IP地址,但在连接Internet时,就可以通过NAT主机的 NAT技术,将内网我IP地址修改为公网IP地址,如此一来,内网计算机就可以向Internet请求数据了。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值