Oozie每提交一个任务到Hadoop就会先启动一个Launcher Job,通过Launcher Job 在启动、监控实际的作业,例如 Hive2、Spark等。
Launcher Job 在默认情况下会占用较多的内存,大概 4.5G。
在Oozie-site.xml中设置以下参数,此参数的目录是减少Launcher Job 默认情况下所占的内存。
<property>
<name>oozie.launcher.mapreduce.map.memory.mb</name>
<value>1024</value>
</property>
<property>
<name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
<value>1024</value>
</property>
本来想着在oozie-site.xml中做一个全局配置,就不需要在每一个workFlow.xml配置了。
但是在Oozie-site.xml设置不生效,只有直接加到WorkFlow.xml中 或者通过Hue界面添加配置才能生效。
Oozie 4.3.1
这个问题有大佬清楚吗? 奖励一个懒羊羊!