大数据系统架构——Hadoop体系

当前的大数据系统架构主要有两种：一种是MPP数据库架构，另一种就是Hadoop体系的分层架构。这两种架构各有优势和适合的场景。
本文从生态体系、集群硬件架构、体系分层功能架构三方面来讲解Hadoop体系的分层架构。
在大数据时代，传统的系统已无法处理具有6V特征（数据量大、数据结构多变、数据更新快、数据黏性大、数据波动大、数据质量差）的大数据，但是高性能硬件价格昂贵。在这种情况下，Hadoop架构应运而生，使用互连的廉价商业硬件，通过连接大量低成本服务器协作，高效存储和处理大量数据。

01 Hadoop生态系统

现今常说的大数据技术，起源于 Google 的三篇重量级论文：2003 年 10 月发表的《Google 文件系统》、2004 年 12 月发表的《MapReduce：超大集群的简单数据处理》和 2006 年 11 月发表的《BigTable：结构化数据的分布式存储系统》，为大数据时代提供了三项革命性技术：GFS、MapReduce和BigTable。

• GFS（Google File System）：是Google面向大规模数据密集型应用的、可伸缩的分布式文件系统，可在廉价的硬件上运行，并具有可靠的容错能力。
• MapReduce：是一种并行编程模式，可以在超大分布式集群上并行运算，对超大规模的数据集进行处理。
• BigTable：是GFS上构建的处理结构化数据的分布式数据库，可以用于处理海量数据的