🚀 优质资源分享 🚀
学习路线指引(点击解锁) | 知识定位 | 人群定位 |
---|---|---|
🧡 Python实战微信订餐小程序 🧡 | 进阶级 | 本课程是python flask+微信小程序的完美结合,从项目搭建到腾讯云部署上线,打造一个全栈订餐系统。 |
💛Python量化交易实战💛 | 入门级 | 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 |
由于网上搜索 PowerJob MapReduce 都是设计原理,demo也展示个空壳子,没有演示Map到Reduce结果怎么传递,对于没有MR开发经验的人来说并没有什么帮助,所以这里写了一个有完整计算意义的demo供参考。
代码功能:
实现一个sum累加。
任务输入参数:
batchSize=100&batchNum=10,
其中batchSize表示每个子任务大小,这里就是一个子任务负责100个数据累加。
batchNum表示批次大小,也就是本次分发为10个子任务来完成。
执行过程就是:Map过程是将本次任务划分为10个子任务,每个子任务分别完成1累加到100,10