合理设置batchduration
依据数据量合理设置kafka topic partition数目
kafka拉取量设置 maxRatePerPartition
executor core的合理设置,避免资源闲置浪费
spark.task.maxFailures=1
spark.speculation为关闭状态
kafka调优
最新推荐文章于 2023-12-06 11:55:07 发布
合理设置batchduration
依据数据量合理设置kafka topic partition数目
kafka拉取量设置 maxRatePerPartition
executor core的合理设置,避免资源闲置浪费
spark.task.maxFailures=1
spark.speculation为关闭状态