大数据
qq_21361539
这个作者很懒,什么都没留下…
展开
-
Map-Reduce原理
Map-ReduceMap-Reduce是由Google在2004年提出的大数据并行编程架构,分为Map(映射)和Reduce(化简)两个步骤,因此得名。它隐藏并行化、容错、数据分布、负载均衡等细节,可以搭建在普通PC上,程序员可以很方便完成大数据并行编程。并行运算的效率假如使用1个处理器花费T1时长可以完成任务,而使用了p个处理器需要Tp时长。那么加速比为:S(Speeu转载 2016-02-27 22:05:45 · 313 阅读 · 0 评论 -
MapReduce的写法
转载地址为http://blog.jobbole.com/84089/觉得确实写的不错,挺详细的。很适合我这种新手。开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这转载 2016-02-28 20:16:40 · 4032 阅读 · 0 评论