-
阿里云EMR running beyond physical memory limits. Current usage: 2.1 GB of 2 GB physical memory used
(1) 调整 spark.yarn.driver.memoryOverhead 或 spark.yarn.executor.memoryOverhead
(2) 在作业编辑页面设置内存(默认2G)。 作业设置→高级设置→内存设置 -
spark不打印stage运行
(1)2.3版本之后,默认关闭。开启设置
config.set(“spark.ui.showConsoleProgress”,“true”)
spark异常记录
最新推荐文章于 2024-01-30 15:24:36 发布