HDFS架构演变之路

一.引言

  至今为止，Hadoop从1.x一直发展到现在的3.x，其内部的分布式存储系统HDFS也在不断的适应如今互联网对安全性、高性能的要求，改进的原因主要是因为如下几个问题：

• 单点故障问题
• 单机内存受限问题
• 如何支撑亿级流量问题

  相应地，HDFS也做了两次架构大的改变，下面一一介绍。

二.不同版本HDFS的架构设计

2.1 Hadoop 1.x

  第一代的HDFS架构是一个简单的主从架构，整个集群中有一个主节点和若干个从节点，其中主节点管理着整个集群的元数据，并处理来自客户端的请求，从节点主要用来存储用户上传的数据，并以多副本的形式进行保存，每个文件会被切割成固定大小的block，但是这个架构存在着一定问题。
  首先，整个集群的元数据是由主节点维护的，因此所有用户想要对数据进行读写的时候都需要与主节点进行交互，相当于主节点决定了整个集群是否能够对外提供服务，此时，如果主节点宕机了，那么整个集群也就无法对外工作，这就是典型的单点故障问题；
其次，由于主节点需要处理来自各处的客户端的读写请求，在进行相应操作前时需要获取相应文件的元数据信息，为了能够快速的给予相应，HDFS在启动之初将所有元数据加载到内存，然而，分布式存储系统随着业务的扩展，系统的存储量以及存储成本也会随之增加，因此元数据的增长带来了单机内存受限的问题；
  再有，如今的互联网在分布式系统上运行的任务数多达百万个，每一个任务可能多次