- 博客(1)
- 资源 (6)
- 收藏
- 关注
原创 spark.dynamicAllocation.enabled
但奇怪的是,corere quest 、spark vcore都是针对单个executor的,而且在grafana上显示的也是单个execoutor的resource,所以感觉答案还是不对。问GPT,给的答案是:在spark 3.0后新增了spark.dynamicAllocation.enabled 参数,允许动态增加execoutor。一般情况下 corere quest <= spark vcore,但发现有一个job出现了后者大于前者的情况。
2023-12-15 16:24:39
18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人