Oozie shell动作内存限制

最新推荐文章于 2022-07-26 23:36:48 发布

lishengping_max

最新推荐文章于 2022-07-26 23:36:48 发布

阅读量298

点赞数

分类专栏： hue 文章标签： oozie

本文链接：https://blog.csdn.net/qq_23146763/article/details/111239531

版权

hue 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

当oozie工作流的shell操作需要超过Yarn默认内存时，直接设置`mapreduce.map.memory.mb`无效。正确的方法是使用`oozie.launcher.mapreduce.map.memory.mb`配置属性，因为shell操作是通过Oozie的启动器任务执行的。这个解决方案在官方文档中可能不显眼，但在特定博客中得到了确认。

摘要由CSDN通过智能技术生成

我们有一个oozie工作流,其 shell操作需要比Yarn默认提供的map任务更多的内存.
我们怎样才能给它更多的记忆？

我们尝试将以下配置添加到操作中：

<configuration>
  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>6144</value> <!-- for example -->
  </property>
</configuration>

我们都将其设置为内联(在workflow.xml中)配置和jobXml.
两者都没有任何影响.

我们找到了答案：
shell操作作为oozie“启动器”映射任务执行,此任务不使用常规配置属性.

相反,您必须在属性前加上“oozie.launcher”,以使它们适用于启动器任务.

所以在我们的例子中,如果我们对shell动作使用以下配置,它就可以工作.

<configuration>
  <property>
    <name>oozie.launcher.mapreduce.map.memory.mb</name>
    <value>6144</value> <!-- for example -->
  </property>
</configuration>