spark数据分析(2)

首先来理解(0,0)这个初始值：说明aggregate（）方法会返回一个元组，而因为是分布式集群来进行分析，所以第一个lambda表达式是每个worker所执行的，比如我们有三个worker，那么他们得到的结果分别是：(14,2)；(8,2)；(14,2)。而第二个lambda表达式则是driver把那三个worker的结果进行汇总计算，得到（36，6）这一结果

而在现实生产中，我们需要尽可能的去利用到每一个分区（worker），所以我们可以认为的用repartition()方法去设置分析数据所需要的分区，而上面的aggregate()的初始值100就是每个分区的数值，236中的200是说明有一个分区分析数据，之后driver汇总，所以是200，36则是6个数据的和

从以上的操作可以看出，我们进行数据分析时要灵活的运用python和spark中类和方法，这样就可以让我们得到我们想要的结果