关于Hadoop的两个YARN参数

最新推荐文章于 2021-07-06 21:41:57 发布

渭水飞熊

最新推荐文章于 2021-07-06 21:41:57 发布

阅读量528

点赞数

本文链接：https://blog.csdn.net/achilles12345/article/details/77543036

版权

    在Hadoop启动的过程中发现，两个slave只有一个NodeManager启动了，另一个没有启动，但是他们的配置都是一样的，而且硬件配置也是一样的，再者也用free等去查看了内存等的运行情况，但是还是起不来。报的错误日志是：NodeManager from slave2 doesn't satisfy minimum allocations, Sending SHUTDOW，slave2就是那个起不来的主机的hostname。
    最后抱着试一试的态度发现，在yarn-site.xml中增加两个以下的参数就能起来：
    <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>1024</value>
    </property>
    <property>
      <name>yarn.nodemanager.resource.cpu-vcores</name>
      <value>1</value>
    </property>
    这个就很奇怪了，因为命名配置的两个参数实际上本身就是默认值，既然是默认是那么配置和不配置岂不是都是一样的吗？我做了测试，这俩参数一个都不能少，原因网上资料很少，估计需要看了源码才能知道，姑且先记下来，等以后抽空研究下源码再说。
    参考资料：http://blog.csdn.net/u013641234/article/details/51123648
    http://blog.csdn.net/suifeng3051/article/details/45477773