Hadoop生态系统

Hadoop是较早用于处理大数据集合的分布式存储计算基础架构，目前由Apache软件基金会管理。通过Hadoop，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力执行高速运算和存储。简单地说，Hadoop是一个平台，在它之上可以更容易地开发和运行处理大规模数据的软件。

01  Hadoop概述

Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。Hadoop是可扩展的，它可以方便地从单一服务器扩展到数千台服务器，每台服务器进行本地计算和存储。除了依赖于硬件交付的高可用性，软件库本身也提供数据保护，并可以在应用层做失败处理，从而在计算机集群的顶层提供高可用服务。Hadoop核心生态圈组件如图1所示。

图1　Haddoop开源生态

02  Hadoop生态圈

Hadoop包括以下4个基本模块。

1）Hadoop基础功能库：支持其他Hadoop模块的通用程序包。

2）HDFS：一个分布式文件系统，能够以高吞吐量访问应用中的数据。

3）YARN：一个作业调度和资源管理框架。

4）M