hadoop的架构模型

hadoop的架构模型

基本概念

元数据：描述数据的数据

元数据信息很重要，一定不能够丢失

文件系统：什么是文件系统？？？

第一个要求，能够存储数据
第二个要求，能够快速查找到我们需要的文件

1.x架构模型

hadoop分为两大块：

	hdfs：分布式文件存储系统

		namenode：主节点，接收处理客户端的请求，并且保存元数据信息

		datanode：从节点，主要职责就是存储数据

		secondaryNameNode：  辅助namenode管理元数据信息

	mapreduce：分布式的文件计算系统

		JobTracker：主节点，接收客户端提交的计算任务，并且分配任务

		TaskTracker：主要是用于执行任务的

文件系统核心模块：
NameNode：集群当中的主节点，主要用于管理集群当中的各种数据
secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
数据计算核心模块：
JobTracker：接收用户的计算请求任务，并分配任务给从节点
TaskTracker：负责执行主节点JobTracker分配的任务

2.x的版本架构模型介绍

2.x架构： 背下来

hadoop2.x主要分为两部分：

hdfs：分布式文件存储系统

	namenode：主节点，接收处理客户端的请求。保存元数据信息。

	datanode：从节点，存储数据

	secondaryNameNode： 辅助namenode管理元数据信息

yarn：资源调度管理系统

	resourceManager：主节点，接受客户端提交的任务，并且分配资源

	nodeManager：从节点，执行分配的任务

	资源：CPU,内存

如果是namenode高可用的话

secondaryNameNode： 这个没有了

journalNode：在两个namenode之间同步元数据信息

zkfc：守护进程，主要是用于监察namenode的健康状况

第一种：NameNode与ResourceManager单节点架构模型

文件系统核心模块：
NameNode：集群当中的主节点，主要用于管理集群当中的各种元数据
secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
数据计算核心模块：
ResourceManager：接收用户的计算请求任务，并负责集群的资源分配
NodeManager：负责执行主节点APPmaster分配的任务

第二种：NameNode单节点与ResourceManager高可用架构模型

文件系统核心模块：
NameNode：集群当中的主节点，主要用于管理集群当中的各种数据
secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
数据计算核心模块：
ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用
NodeManager：负责执行主节点ResourceManager分配的任务

第三种：NameNode高可用与ResourceManager单节点架构模型

文件系统核心模块：
NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中nameNode可以有两个，形成高可用状态
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
JournalNode：文件系统元数据信息管理
数据计算核心模块：
ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分
NodeManager：负责执行主节点ResourceManager分配的任务

第四种：NameNode与ResourceManager高可用架构模型

文件系统核心模块：
NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用
JournalNode：元数据信息管理进程，一般都是奇数个
DataNode：从节点，用于数据的存储
数据计算核心模块：
ResourceManager：Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用
NodeManager：Yarn平台的从节点，主要用于处理ResourceManager分配的任务