Spark aggergate算子的原理

 //输出的是0 1 因为 ""和 "12" "23"比较最小的是0,而这个结果返回的是0,0.toString之后长度为1了,所以第一个分区的值应该是1,
 // 1和"333"的长度比较,最小的是1,又和""比较,最小的是0  所以最后输出的是0 1
 val rdd5 = sc.parallelize(List("12","23","333",""),2)
 //输出的是1 1  因为 ""和 "12" "23"最小的是"",第一次比较,最小的长度是"",他的长度是0,0.toString之后变成了1,1和"23".length比 最小的还是1,
 // 之后""和""比最小的是0,0.toString是1,所以在和"333"比的时候仍然为1
val rdd6 = sc.parallelize(List("12","23","","333"),2)
而

val rdd4 = sc.parallelize(List(12,25,33,16),2)
println(rdd4.aggregate(10)((x,y)=>math.max(x,y),(x,y)=>x+y))
得到的结果是25+33+10

其实底层原理不是把zeroValue也当成一个分区看待,应该是在最后结果出来以后,在将0值和得到的值进行这个运算,如果是(x,y)=>x*y 那最后的值就是8250

val rdd4 = sc.parallelize(List(12,25,33,16),2)
println(rdd4.aggregate(10)((x,y)=>math.max(x,y),(x,y)=>x+y))

得到的结果是25+33+10

其实底层原理不是把zeroValue也当成一个分区看待,应该是在最后结果出来以后,在将0值和得到的值进行这个运算,如果是(x,y)=>x*y 那最后的值就是8250

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值