fffalconer的博客

HDFS 基本原理和读写流程文章目录HDFS 基本原理和读写流程基本架构NameNode 持久化Hdfs 中的 (Secondary NameNode)SNN存储模型HDFS 写流程Block的副本放置策略HDFS 读流程基本架构HDFS是一个 主从(Master/Slaves)架构 , 由一个NameNode和一些DataNode组成，NameNode为主；面向文件包含：文件数据(data)和文件元数据(metadata)；NameNode负责存储和管理文件元数据(在内存)，并维护了一个层次型的

MapReduce Shuffle 原理以及优化文章目录MapReduce Shuffle 原理以及优化1、MapReduce 编程模型2、MapReduce 的实现原理3、MapReduce 过程优化1、MapReduce 编程模型Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序；数据以一条记录为单位经过 map 方法映射成KV，相同的key为一组，这一组数据调用一次 reduce方法，在方法内迭代计算着一组数据。2、MapReduce 的实现原理Client