LizhiQiang

大多数 Spark 作业的性能主要就是消耗在了 shuffle 环节，因为该环节包含了大量的磁盘 IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对 shuffle 过程进行调优。但是也必须提醒大家的是，影响一个 Spark 作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle 调优只能在整个 Spark 的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解 shuffle 的原理，以及相关参数的说明，同时

flattenmapflatMapWordCount 单词切分val datas: List[(String, Int)] = List( ("hello", 4), ("hello world", 3), ("hello scala flink", 2), ("hello spark scala hive hive", 1))val wordsList: List[(String, Int)] = datas.flatMap(wordsAndCount =&gt