我使用的是腾讯云,4核8G的配置,hosts文件如下:
我没有对内存分配做设置,使用的都是默认的。
运行wordcount案例的时候总是卡住,查了一圈,有说把mapred-site.xml中
<name>mapreduce.framework.name</name>
<value>yarn</value>
这一条删除的,但是删除了相当于仅仅在本机上运行,就不是分布式了。
在yarn的网页上看到,卡在了waiting for AM container to be allocated, launched and register,Diagnostic说的是Container allocated,waiting to be launched.
持续等待,最后timeout 出错误,发现是连接不上 (我的)servant1:47867
我很奇怪,内部的通讯不是用8030-8032这几个吗,于是我看了启动集群的时候的nodemanager日志,发现在启动的时候会被分配一个新的Node ID,而通讯使用的也是这个ID,比如说下图,ID就是smenn-servant2:45181。