Spark:partition、task、executor关系 Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系和Application,Driver,Job,Task,Stage理解 优化 由美团技术文章整理—spark性能优化基础篇–开发调优与资源参数调优 由美团技术文章整理—spark性能优化高级篇–数据倾斜调优与shuffle调优 park性能优化:开发调优篇 Spark性能优化:资源调优篇 Spark性能优化:数据倾斜调优 Spark性能优化:shuffle调优 SparkStreaming+Kafka 优化 spark通过合理设置spark.default.parallelism参数提高执行效率 添repartitionAndSortWithinPartitions替换repartition和sortBy