SparkCore杂记二

       这篇博客主要讲解Spark中任务shuffle与persistence, 首先来说说shuffle洗牌，学过hadoop的同学应该都了解mapreduce,每一个mapreduce任务都要经过一次shuffle，简单的理解shuffle就是根据key将数据进行重新分布，这个过程会发生文件IO/网络IO,是比较耗性能的一个操作，并且还有可能产生数据倾斜，简单说一下数据倾斜指每个任务中分配的数据不均匀，一些任务数据量很少执行时间很短，一些数量很多执行时间很长，解决数据倾斜就是尽可能的使每个任务的数据量分布均匀，shuffle包括shuffle write与shuffler read过程，shuffle write将数据按照一定的规则组织写入到内存中，当内存达到一定上限就会写入到磁盘中，shuffle过程通常会产生大量的磁盘文件，shuffle read 指每个task到磁盘文件读取相应的文件，会读取一部分到内存中进行处理，然后读取继续进行处理。Spark中shuffle同样也指数据重分布，在spark中执行reduceByKey/join/groupByKey/repartition等算子操作就会执行shuffle，shuffle过程中key的式如何分布的在上节已经讲到过，主要有HashPartitioner(默认)、RangePartitioner来控制，HashPartitioner会将相同的key分布到同一个分区中，相同key的记录会在同一个分区中执行聚合操作，Spark中shuffle包括两种类型：hash/sort ，二者最主要的区别就是产生中间文件数量的多少，hash类型shuffle中每一个task都会产生下一个stage中task个数的文件数量，经过优化过后的hash shuffle 每一个core(执行多批task) 会产生下一个stage中task个数的文件数量, 而sort 类型的shuffle每个task只有一个磁盘文件与索引文件，索引文件会索引数据文件中数据对应下一个stage的每一个task,从spark1.2开始已经开始使用sort类型的shuffle。由于shuffle是一个比较号性能的算子操作，所以我们应该尽量少使用或者使用比较高性能的算子，使用reduceByKey代替groupBkKey,reduceByKey会在map段进行预聚合操作，而groupByKey不会，这样会减少IO的数据量，使用map+broadcast 代替join ,只适合broadcast 较小的数据量，由于join会产生shuffle ,但是map+b