首先来理解(0,0)这个初始值:说明aggregate()方法会返回一个元组,而因为是分布式集群来进行分析,所以第一个lambda表达式是每个worker所执行的,比如我们有三个worker,那么他们得到的结果分别是:(14,2);(8,2);(14,2)。而第二个lambda表达式则是driver把那三个worker的结果进行汇总计算,得到(36,6)这一结果
而在现实生产中,我们需要尽可能的去利用到每一个分区(worker),所以我们可以认为的用repartition()方法去设置分析数据所需要的分区,而上面的aggregate()的初始值100就是每个分区的数值,236中的200是说明有一个分区分析数据,之后driver汇总,所以是200,36则是6个数据的和
从以上的操作可以看出,我们进行数据分析时要灵活的运用python和spark中类和方法,这样就可以让我们得到我们想要的结果