JVM重用

最新推荐文章于 2024-05-01 22:20:02 发布

`临在丶`

最新推荐文章于 2024-05-01 22:20:02 发布

阅读量183

点赞数

分类专栏： hive hadoop spark 文章标签：大数据

本文链接：https://blog.csdn.net/dy2210118/article/details/132231158

版权

spark 同时被 3 个专栏收录

11 篇文章 0 订阅

订阅专栏

hive

4 篇文章 0 订阅

订阅专栏

hadoop

4 篇文章 0 订阅

订阅专栏

这篇文章探讨了JVM重用在Hadoop中的应用，如何通过调整mapred-site.xml中的mapreduce.job.jvm.numtasks配置来提高性能，尤其是在处理小文件和大量任务场景。然而，JVM重用可能导致资源浪费，当job中存在执行时间差异的task时。

摘要由CSDN通过智能技术生成

JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。

Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情况。JVM重用可以使得JVM实例在同一个job中重新使用N次。N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间，具体多少需要根据具体业务场景测试得出。

<property>
  <name>mapreduce.job.jvm.numtasks</name>
  <value>10</value>
  <description>How many tasks to run per jvm. If set to -1, there is no limit. </description>
</property>

这个功能的缺点是，开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。
————————————————
版权声明：本文为CSDN博主「muyingmiao」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/muyingmiao/article/details/103209151