Hadoop
Guo203
这个作者很懒,什么都没留下…
展开
-
MapReduce模型
MapReduce编程模型的设计目标是:使用普通硬件的大型集群处理非结构化数据并产生大规模数据集,它能够在数千个计算节点的集群上处理TB级数据,进行故障处理,完成任务复制并聚合最终结构。 MapReduce模型包含可以在多台机器上并行执行的两个函数,map函数和reduce函数。 用户自定义map函数和reduce函数; map函数读取键值对,执行用户指定转载 2015-08-27 16:29:07 · 463 阅读 · 0 评论 -
Hadoop简介
Hadoop由分布式数据存储引擎和MapReduce执行引擎组成,成功在处理使用大量节点、围绕大量数据集展开的高分布性问题方面。这些众多的节点构成了Hadoop集群。 Hadoop集群是有一个主节点JobTracker和多个从节点TaskTracker构成。 一个用户程序叫做一项作业,分为两个步骤,map和reduce。 Hadoop MapReduce框架采用分布式文件系统HDFS来读取数 完成步骤:map、merge、shuffle、sort、reduce原创 2015-08-27 20:28:33 · 402 阅读 · 0 评论