yarn 的nodemanager 中间数据存储

最新推荐文章于 2024-08-28 22:48:31 发布

陆潇

最新推荐文章于 2024-08-28 22:48:31 发布

阅读量1.4k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/weijiasheng/article/details/105076149

版权

hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

yarn.nodemanager.local-dirs:

这个目录是nodemanager上的作业中间数据存放路径，默认是 10G大小；
yarn.nodemanager.local-dirs，我们一般配置多个目录，几个磁盘就几个目录

 <property>
        <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>60000</value>
    </property></span>

yarn.nodemanager.localizer.cache.target-size-mb：配置缓存目录的最大容量。
yarn.nodemanager.localizer.cache.cleanup.interval-ms：清理扫描间隔