出错代码：
rdd.coalesce(1).saveAsTextFile(outpath)解决：
将coalesce改成repartition即可
原因：
repartition会开一个shuffle将文件进行合并，所以他的上游还是多个partition并行运行的。
而coalesce是直接用一个分区处理所有数据。
本文探讨了如何在Spark的Resilient Distributed Dataset (RDD)操作中，通过将coalesce替换为repartition来优化数据处理。重点在于理解repartition为何能解决coalesce的问题，即它如何通过重新分布数据，确保更高效的并行处理。
6965
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
