大数据系统架构-Hadoop生态系统

Hadoop是较早用于处理大数据集合的分布式存储计算基础架构，通过Hadoop，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的为例执行告诉运算和存储。简单来说，Hadoop是一个平台，在它之上，可以更容易地开发和运行大规模数据的软件。

01 Hadoop 概述

Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。

Hadoop是可扩展的，可以方便的从单一服务器扩展到数千台服务器，每台服务器进行本地计算和存储。除了依赖于硬件交付的高可用性，软件库本身也提供数据保护，并且可以在应用层做失败处理，从而在计算机集群的顶层提供高可用服务。
Hadoop核心生态圈组件：

02 Hadoop生态圈

Hadoop包括以下4个基本模块。
1）Hadoop基础功能库：支持其他Hadoop模块的通用程序包。
2）HDFS：一个分布式文件系统，能够以高吞吐量访问应用中的数据。
3）Yarn：一个作业调度和资源管理框架。
4）MapReduce：一个基于Yarn的大数据并行处理程序。

除了基本模块，Hadoop还包括以下项目。
1）Ambari：基于Web，用于配置、管理和监控Hadoop集