当提交的job需要多个mr时,开启jvm重用,可以起到一定的优化效果,减小jvm频繁启动带来的开销
只需调整mapredu-site.xml中的
<property>
<name>mapred.job.reuse.jvm.num.tasks</name>
<value>-1</value>
<description></description>
</property>
-1标示jvm重用的次数不限,可以重用任意次
当提交的job需要多个mr时,开启jvm重用,可以起到一定的优化效果,减小jvm频繁启动带来的开销
只需调整mapredu-site.xml中的
<property>
<name>mapred.job.reuse.jvm.num.tasks</name>
<value>-1</value>
<description></description>
</property>
-1标示jvm重用的次数不限,可以重用任意次