Hadoop
文章平均质量分 72
iteye_7741
这个作者很懒,什么都没留下…
展开
-
Python进行简单的MapReduce(1)
所有操作,假定hadoop集群已经正常部署。Python源码mapper.py[code="python"]#!/usr/bin python import sys # input comes from STDIN (standard input)for line in sys.stdin: line = line.strip() words...2014-11-27 13:01:14 · 176 阅读 · 0 评论 -
大数据处理之-DAG计算
DAG是有向无环图(Directed Acyclic Graph)的简称。在大数据处理中,DAG计算常常指的是将计算任务在内部分解成为若干个子任务,将这些子任务之间的逻辑关系或顺序构建成DAG(有向无环图)结构。DAG在分布式计算中是非常常见的一种结构,在各个细分领域都可以看见它,比如Dryad,Flumejava和Tez,都是明确构建DAG计算模型的典型,再如流式计算的Storm等系统或机器...原创 2015-05-19 18:32:12 · 7532 阅读 · 0 评论