![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop原理
L姓数据工程师
人不远行身不壮,火不烧山地不肥
展开
-
Hadoop原理之环形缓存区运行机制
环形缓存区是mapreduce中map阶段处理和存储数据的后半段过程,主要负责处理map()方法输出的kv数据实际上,环形缓存区是一个缓存数组,原创 2020-08-30 14:19:33 · 864 阅读 · 1 评论 -
Hadoop原理之checkpoint机制
一、什么是checkpoint?简单来说,若不使用HA时,hadoop的checkpoint机制就是主节点的元数据备份机制,通过Secondary Namenode,每隔一段时间将Name Node的元数据更新并备份,然后返回fsimage给Name Node,供其下次启动时读取二、具体原理原理图 首先,有一个主节点Name Node(NN),同时还有一个Secondary NameNode(SNN),可将SNN看作原创 2020-08-22 09:47:25 · 2496 阅读 · 1 评论 -
Hadoop原理之MapReduce运行机制
MapReduce什么是MapReduce?MapReduce的好处两个阶段map阶段reduce阶段什么是MapReduce?MapReduce本身是一种编程思想,它将处理数据分为两步,第一步是Map阶段,即映射阶段,第二步是Reduce阶段,即聚合阶段。这一革命性的思想是谷歌最先提出的,之后诞生的hadoop也运用了这一思想。因此有了基于Hadoop的mapreduce的分布式计算框架,例如后续流行spark和flink也是基于MapReduce思想而开发出的分布式计算框架。MapReduce的好原创 2020-08-21 23:31:06 · 333 阅读 · 0 评论