【Python】Dpark例子分析

工作流程分析:




PI例子,构造数组RDD并处理:

#-*- coding: utf-8 -*-
# Dpark的估算pi例子,构造数组RDD处理

from random import random
import dpark

#定义取点总数,越多越精确
N = 100000

#定义map()转换函数,用于将RDD转变成新的RDD
def rand(i):
    x = random()
    y = random()
    return (x*x + y*y) < 1.0 and 1 or 0

#(1)dpark.parallelize将数据分成4块RDD
#(2)利用map()将4块RDD对应转换成新的RDD
#(3)利用reduce()处理每一块RDD,返回计算结果
count = dpark.parallelize(range(N), 4).map(rand).reduce(lambda x,y:x+y)

print 'pi is ', 4.0 * count / N


word count例子,构造文件RDD处理:

#-*- coding: utf-8 -*-
# word count例子,构造文件RDD
from dpark import DparkContext

def word_count(file_path, word):   
    #指定某个Mesos主机进行沟通
    dpark = DparkContext()
    
    #将分布式文件,构造成文件RDD,每块大小为16m
    f = dpark.textFile(file_path, splitSize=16<<20)

    #用map()转变成新的RDD,再用filter过滤出更新的RDD,最后用count()处理返回结果
    print word, 'count:', f.map(lambda line: line.strip()).filter(lambda line: word in line).count()




  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
该资源内项目源码是个人的课程设计、毕业设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值