- spark.yarn.executor.memoryOverhead 由操作系统分配,不受jvm控制,用于shuffle 数据传输
- spark.executor.extraJavaOptions -XX:MaxDirectMemorySize 是jvm控制的,在日志中看到java.lang.OutOfMemoryError: Direct buffer memory报错时,需要调大此参数
- spark.executor.memoryOverhead 是spark中广义的堆外内存,for yarn资源manager,作用比较杂(代码缓存、线程栈、SparkR、pyspark...在spark 2.4.5及之前的版本,spark.executor.memoryOverhead也包含spark.memory.offHeap.size );
- 而spark.memory.offHeap.size 更像是spark中狭义的堆外内存,for spark mem manager, 作用更集中:为了Tungsten项目提高executor对内存使用的效率
spark.yarn.executor.memoryOverhead和spark.memory.offHeap.size 及spark.executor.extraJavaOptions:-XX:Ma
最新推荐文章于 2024-05-15 00:00:00 发布