第二章 Hadoop生态系统与华为云服务MRS概述

1、开源Hadoop及其生态概述

1.1 Hadoop概述

概念：Hadoop被公认为行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力，几乎所有主流厂商都围绕Hadoop提供开发工具开源软件、商业化工具和技术服务，给大数据处理营造最佳的集成环境。

特点：1高可靠性 2高效性 3成本低 4高可扩展性 5高容错性 6丰富API

Hadoop核心组件构成：HDFS（解决海量数据存储问题） MapReduce(解决海量数据计算问题） YARN（解决资源调度和计算耦合的问题）

生态圈组件表

组件	功能
HDFS	Hadoop的分布式文件系统
MapReduce	分布式计算框架
YARN	分布式资源管理和调度
Hive	基于Hadoop之上的数据仓库
HBase	基于Hadoop之上的面向列式存储的非关系型分布式数据库
Sqoop	用于在Hadoop与传统关系型数据库之间进行数据传递的ETL工具
Zookeeper	提供分布式协调一致性服务
Storm	流式计算框架
Flume	一个高可靠、高可用的分布式海量日志采集、聚合和传输的系统
Ambari	Hadoop快速部署工具，支持Hadoop集群的安装、管理和监控。

1.2 开源大数据生态系统架构

Hdoop2.0生态系统增加了很多组件，多了很多内容

1.3 华为云大数据服务MRS概述

简述：MapReduce服务(MapReduce Service，简称MRS) 是一个在华为云上部署和管理Hadoop系统的服务，一键即可完成部署Hadoop集群

MRS提供租户完全可控的一站式业级大数据集群云服务，完全兼容开源接口据行业经验，为客户提供高性能、低成本、灵结合华为云计算、存储优势及大活易用的全栈大数据平台，轻松运行Hadoop、Spark、 HBase、 Kafka、Storm等大数据组件，并具备在后续根据业需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过寸海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。

对比优势：

1. MRS支持一键式创建、删除、扩缩容集群，并通过弹性公网IP便携访问MRS集群管理系统让大数据集群更加易于使用。

2. MRS支持自动弹性伸缩，相对自建Hadoop集群的使用成本更低。MRS服务支持规则和时
   间计划两种弹性伸缩的策略:弹性伸缩规则，资源计划；

3. MRS支持存算分离，大幅提升大数据集群资源利用率；

4. MRS支持自研CarbonData和自研超级调度器Superior Scheduler，性能更优；

5. MRS基于鳃鹏处理器进行软硬件垂直优化，充分释放硬件算力，实现高性价比。

6. MRS支持多种隔离模式及企业级的大数据多租户权限管理能力，安全性更高；

7. MRS管理节点均实现HA，支持完备的可靠性机制，让系统更加可靠；

8. MRS提供统一的可视化大数据集群管理界面，让运维人员更加轻松；

9. MRS提供统一的可视化大数据集群管理界面，让运维人员更加轻松。

主要功能总结：一站式融合平台；一键式平台搬迁；资源灵活弹性伸缩；企业级驾驶舱管理。