Hadoop
文章平均质量分 80
Hadoop
松myth
这个作者很懒,什么都没留下…
展开
-
Hadoop与Spark的关系
一提到大数据,人们就会想到Hadoop,然而,最近又有个Spark似乎成了后起之秀,也变得很火,似乎比Hadoop更具优势,更有前景。那么这两种相爱相杀的技术,又存在什么区别和联系呢? Spark Spark是什么? Spark是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架:比如Spark Core用于离线计算,Spark SQL用于交互式查询,Spark Streamin原创 2021-07-30 14:52:59 · 2917 阅读 · 2 评论 -
MapReduce的基本工作原理
MapReduce的基本模型和处理思想: 三个层面上的基本构思 1.如果对付大数据处理:分而治之 对相互之间不具有计算依赖关系的大数据,实现并行最自然的办法就是采取分而治之的策略。 2.上升到抽象模型:Mapper与Reduce MPI等并行计算方法缺少高层并行编程模型,程序员需要自行指定存储,计算,分发等任务,为了克服这一缺陷,MapReduce借鉴了Lisp函数式语言中的思想,用Map和Reduce两个函数提供了高层的并发编程模型抽象。 3.上升到架构:统一架构,为程...转载 2021-07-30 11:50:35 · 150 阅读 · 0 评论