hadoop入门

分布式系统和集群

分布式

概念：分布式是指将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情

单机模式

该模式可以形象的比喻为：一个餐厅的厨房只有一个人，这个人既要买菜、又要切菜、还要炒菜，效率很低！

分布式模式

该模式可以形象的比喻为：一个餐厅的厨房有三个人，一个人买菜、一个人切菜、一个人炒菜，效率提高了！

分布式的基础架构

去中心化模式

中心化模式

主从模式

大数据框架，大多数的基础架构上，都是符合：中心化模式的。 即：有一个中心节点（服务器）来统筹其它服务器的工作，统一指挥，统一调派，避免混乱。 这种模式，也被称之为：一主多从模式，简称主从模式（Master And Slaves） 我们学习的Hadoop框架，就是一个典型的主从模式（中心化模式）架构的技术框架。

集群

概念：所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机 联合起来工作(服务)，可以是并行的，也可以是做备份。

分布式和集群区别?

分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事 集群：集群主要是将同一个业务，部署在多个服务器上 ，多个人在一起做同样的事

Hadoop是哪种分布式架构模式？

主从模式（中心化模式）的架构

Hadoop框架概论

Hadoop框架内容

狭义解释

Hadoop指Apache这款开源框架，它的核心组件有： ➢ HDFS（分布式文件系统）：解决海量数据存储 ➢ MAPREDUCE（分布式运算编程框架）：解决海量数据计算 ➢ YARN（作业调度和集群资源管理的框架）：解决资源任务调度

广义解释

广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

Hadoop架构

Hadoop架构模块

Hadoop2.x架构内部模型-HDFS和Yarn

HDFS模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

SecondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

ResourceManager：接收用户的计算请求任务， 并负责集群的资源分配

NodeManager： 负责执行主节点分配的任务

Hadoop2.x架构模型-MapReduce

Hadoop模块之间的关系

MapReduce计算需要的数据和产生的结果需要HDFS来进行存储

 MapReduce的运行需要由Yarn集群来提供资源调度。