使用虚拟机搭建hadoop集群比较麻烦,限制又比较大。可以在各个云服务器厂商以首单优惠价格买到一台服务器,博主就在hw、bd、tx各买了一台,配置如下:
。
搭建集群采用的某硅谷hadoop3的搭建方法,版本为hadoop3.1.3,当我配置映射、ssh免密登录、写好同步脚本、搭建好环境、修改集群配置文件之后,启动集群发现每个节点上只有datanode和nodemanager,却没有nn、rm、2nn等进程。
搞了好久才发现原来是配置的映射问题,最开始图省事,每台的映射是直接复制粘贴过去的,但是当前服务器的映射应该使用当前服务器的内网ip,而不是公网ip。例如bd这台服务器的映射应该是到另外两台是公网ip,当前的应该是内网ip。