spark reduceByKey()和 reduceByKey(,para)的时间差

最新推荐文章于 2024-04-07 22:31:08 发布

weixin_34304013

最新推荐文章于 2024-04-07 22:31:08 发布

阅读量91

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/u/2494265/blog/549355

版权

2019独角兽企业重金招聘Python工程师标准>>>

import time

t=[]

for i in range(1,10000000000):
   t.append((i,i))
tsc=sc.parallelize(t)
def fun1(d):
   t1=time.time()
   d.reduceByKey(lambda x,y:x*y)
   t2=time.time()
   return t2-t1
def fun2(d):
   t1=time.time()
   d.reduceByKey(lambda x,y:x*y,10)
   t2=time.time()
   return t2-t1

>>> fun1(tsc)
0.033590078353881836
>>> fun2(tsc)
0.03184199333190918

转载于:https://my.oschina.net/u/2494265/blog/549355