Hadoop
爱问西瓜爱大树
这个作者很懒,什么都没留下…
展开
-
hadoop Context类
它是mapper的一个内部类,简单的说顶级接口是为了在map或是reduce任务中跟踪task的状态,很自然的MapContext就是记录了map执行的上下文,在mapper类中,这个context可以存储一些job conf的信息,比如习题一中的运行时参数等,我们可以在map函数中处理这个信息,这也是hadoop中参数传递中一个很经典的例子,同时context作为了map和reduce执行中各个...转载 2019-03-31 21:32:40 · 516 阅读 · 0 评论 -
用python写WordCount的MapReduce代码
1、完整版:https://www.cnblogs.com/kaituorensheng/p/3826114.html2、展示如何将代码放到集群跑:https://www.cnblogs.com/liangjf/p/liangjf.html3、参考:https://blog.csdn.net/qq_35710240/article/details/79799288...转载 2019-04-01 10:09:38 · 371 阅读 · 0 评论 -
python实现mapreduce求平均值
https://www.cnblogs.com/sykblogs/articles/10021703.html转载 2019-04-01 18:17:48 · 1557 阅读 · 0 评论