Hadoop
文章平均质量分 91
爱慕。
赶路人
展开
-
8.MapReduce源码解析(超详细)
MapReduce源码解析 Split MapTask KVBuffer Spill Merge ReduceTask原创 2022-09-06 14:11:23 · 1191 阅读 · 0 评论 -
7.Hadoop之MapReduce
什么是MapReduce MapReduce的计算流程 环形数据缓冲区原创 2022-09-06 13:54:05 · 113 阅读 · 0 评论 -
6.Hadoop之HDFS(二)(Hadoop架构和特性)
Hadoop新特性,Hadoop架构,HDFS架构,NameNode,DataNode(DN),SecondaryNameNode,QJM,ZKFC,脑裂brain-split,Hadoop-Federation,## Hadoop3新特性 ### **1. Erasure Encoding**原创 2022-08-23 18:22:01 · 235 阅读 · 0 评论 -
5.Hadoop之HDFS(一)(Hadoop进化史与HDFS)
Hadoop之HDFS(一)(Hadoop进化史与HDFS) Hadoop的前世今生 Hadoop进化史 分布式文件系统架构 文件切分思想 Block拆分标准 Block数据安全 HDFS的特点 - a)高容错性 - i.保存多个副本,且提供容错机制。 - ii.副本丢失或宕机自动恢复。默认存3份。 - b)运行在廉价的机器上(商用机) - i.通过副本提高可靠性 - ii.提供了容错和恢复机制 - c)适合批处理 - i.移动计算而非数据 - ii.数据位置暴露给计算框架原创 2022-08-22 15:45:39 · 476 阅读 · 0 评论