数学之路-分布式计算-disco(4)

本文介绍Disco分布式计算框架,通过实例展示如何使用Disco进行单词计数,涉及map和reduce函数,以及作业运行和结果获取。文章强调Disco的简单易用,便于扩展和优化。
摘要由CSDN通过智能技术生成

第一个参数iter是一个迭代器,涉及被map函数产生的键和值,它们是reduce实例。

在本例中,单词随机被委托给不同的reduce实例,然后,要单词相同,处理它的reduce也相同,可确保最终合计是正确的。

第二个参数params与map函数中一致,在此,仅简单使用disco.util.kvgroup()来提取每个单词统计计数,累计计数,yield(产生)结果。

运行作业

下面开始运行作业,可使用大量参数定制作业,但通常来说,对于简单的任务来说 ,仅使用其中3个即可。除了启动作业之外,我们还需要输出结果,首先,我们在作业完成前要等待,通过调用wait等待调用完毕,完成后会返回结果,为方便起见,通过job对象调用wait及其它相关方法。

result_iterator()函数取结果文件地址列表,它被wait()函数返回,iterates(迭代)遍历所有结果中的键值对。

 

defmap(line, params):

    for word in line.split():

        yield word, 1

 

defreduce(iter, params):

    from disco.util import kvgroup

    for word, counts in kvgroup(sorte

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值