HDFS 读写数据流程以及 NameNode + 2NN + DataNode 工作机制

刚刚分享了 HDFS 的相关技术，写一篇博客记录一下。

Hadoop 是什么？

HDFS 是 Hadoop 生态圈的一个组件。因此在介绍 HDFS 之前先来回顾一下 Hadoop。

Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和分析计算问题。

广义上来说，Hadoop通常是指一个更广泛的概念 —— Hadoop 生态圈。

Hadoop 优势

• 高可靠性
  Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或者存储出现故障，也不会导致数据的丢失。
• 高扩展性
  在集群间分配任务数据，可方便的扩展数以千计的节点。
• 高效性
  在MapReduce 的思想下，Hadoop是并行工作的，以加快任务处理速度。
• 高容错性
  能够自动将失败的任务重新分配。

Hadoop 组成

区别：

• 在Hadoop 1.x 时代，Hadoop 中的MapReduce 同时处理业务逻辑运算和资源的调度，耦合性较大。
• 在Hadoop 2.x 时代，增加了Yarn。Yarn 只负责资源的调度，MapReduce 只负责运算。

HDFS 概述

HDFS 产生的背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。

</