Spark Streaming 中可以通过以下方法来设置 task 在 executor 上的均匀分布:
设置 executor 数量:通过调整
spark.executor.instances
参数来设置 executor 的数量,从而确保 task 在 executor 上得到均匀分配。设置每个 executor 的 CPU 数量:通过调整
spark.executor.cores
参数来设置每个 executor 的 CPU 数量,从而控制 task 在 executor 上的分配。使用固定的分区数:通过指定固定的分区数来确保 task 在 execu