![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
旋奘
这个作者很懒,什么都没留下…
展开
-
Shuffle的过程作用详解
shuffleshuffle过程中的几个名词:shuffle:洗牌;spill:溢出;combiner:合成;merge:融入混合;copy:复制shuffle的使用地点:发生在map task输出结果传送到reduce task 输入的阶段使用shuffle的好处:在从map task端拉取数据到reduce task端时,减少宽带的消耗,将数据完整的从map task端拉取数据到re...转载 2020-04-12 19:08:11 · 3397 阅读 · 0 评论 -
fsimage与editlog详解
1 概述HDFS中的NameNode被称为元数据节点DataNode称为数据节点。NameNode维护了文件与数据块的映射表以及数据块与数据节点的映射表,而真正的数据是存储在DataNode上。对于NameNode如何存储这些信息,它维护两个文件,一个是fsimage,一个是editlog。2 fsimage与editlog作用fsimage保存了最新的元数据检查点,在HDFS启动时加载f...转载 2020-04-07 10:01:28 · 2201 阅读 · 0 评论