- 博客(1)
- 收藏
- 关注
RSS订阅原创 Spark的动态Executor机制
最近在Spark程序运行的过程中发现了一个问题，系统每天会运行很多任务，任务计算逻辑是一样的，但是每个任务拉去的数据量有多有少，不知道怎么给Spark程序设置多少资源比较合理。这时候Spark的动态Executor分配机制就派上用场了，它会根据当前任务运行的情况自动调整Executor的数量，实现资源的弹性分配。Spark的动态Executor分配机制介绍：//开启Dynamic Resource Allocationspark.dynamicAllocation.enabled=true.
2020-12-20 23:01:48
3160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人