Hadoop学习（一）Hadoop概述

一、Hadoop

1、简介

Hadoop是一个由Apache基金会开发阿德分布式系统基础架构

主要解决，海量数据的存储和海量数据的分析计算问题

PS：储存大小数量级：兆M->吉G->太T->拍P->艾E->泽Z

Hadoop三大发行版本：Apache（最原始，最基础，开源）、Cloudera（大型互联网企业中用的多）、Hortonworks（文档较好）

2、优势

可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失

高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点

高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

高容错性：能够自动将失败的任务重新分配

3、Hadoop组成

二、HDFS架构概述

1）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和

2）NameNode(nn)(只有一个)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。（存数据索引，只有一个）

3）Secondary NameNode(2n)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。（辅助nn）

三、YARN架构概述

（对内存资源和cpu算力进行调度）

1、ResourceManager（RM）主要作用：（管理整个集群）

 1）处理客户请求

2）监控NodeManager

3）启动或监控ApplicationMaster

4）资源的分配与调度

2、NodeManager（NM）主要作用：（受RM的调配）

1）管理单个节点上的资源

2）处理来自ResourceManager的命令

3）处理来自ApplicationMaster的命令

3、ApplicationMaster（AM）主要作用：（受NM的调配，并不是常驻进程，任务结束后进程结束）

1）负责数据的切分

2）为应用程序申请资源，并分配给内服的任务

3）任务的监控与容错

4、Container（容器）：（非常驻）
Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。NodeManager通过启动和关闭容器完成资源的调度

四、MapReduce架构概述

MapReduce将计算过程分为两个阶段，Map和Reduce

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总

五、大数据生态体系

笔记：

元数据：描述数据的数据。例：索引

Sqoop：导入数据库数据

HDFS：所有数据存储都是基于HDFS，有缺陷，但是没有更优的替代品

HBase：Big Table

资源调度平台：除了YARN还有K8S等

计算引擎：除了给的MapReduce，Spark Core还有目前很火的Flink；引擎上面的小方块分别是引擎的包装，通过sql语句等方式，调用引擎

结构化数据和半结构化数据上面是离线计算，非结构化数据上面是在线计算。

在线计算引擎：Storm，Spark Streaming，Flink

在线计算特点：流式计算，没有头和尾，衡量框架用处理信息流的速度或口径。Storm淘汰的原因是口径小，数据吞吐速率过低。

Storm纯流式计算，一滴水一滴水计算；Spark Streaming用蓄水池蓄成一池水再处理，处理一块蓄水池的时候蓄一池新的水，继续处理。

Flink纯流式计算

任务调度：任务之间的依赖关系

Zookeeper：协调各个数据框架之间的关系