hadoop基础框架介绍

http://www.toutiao.com/i6394579378050695682/

 

以下是官方对hadoop的解释：

The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing。

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.

Hadoop核心模块：

Hadoop Common: The common utilities that support the other Hadoop modules.

Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.

Hadoop YARN: A framework for job scheduling and cluster resource management.

Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

hadoop主要模块（单一职责，职责明确划分）：

YARN：

分配资源

监控管理任务

计算任务：

Mapreduce

数据存储：

HDFS

HDFS架构：

二叉树(数据结构)

|

/ \

namenode:管理者 管理元数据的命名空间，维护者整个文件系统的目录树

元数据信息

举个荔枝，文件：文件本身内容是一部分

文件本身携带的一部分信息 又是一部分（元数据）

datanode：

存储文件数据本身内容的，文件是以块的形式存储的

hdfs读取数据的流程：（文件）

client 端--->发送读取数据 的请求--->namenode 进行通信--->

返回你要读取数据的最佳位置（本地计算的概念）--->和DataNode进行通信读取对应的信息

YARN核心组件:

ResourceManager(管理员 平台资源):

对资源进行分配管理和任务调度

1、接收客户端请求

2、分配 container 到具体的nodemanager 上面去启动 Application Master(APP Mstr)

3、向 ResourceManager 进行反向注册的(客户端可以直接查看任务具体的运行状态)

4、Application Master 向ResourceManager申请具体执行任务的资源

5、Resourmanager 返回一个 nodemanager 列表信息

6、clinet 与具体的 nodemanger 进行通信执行任务

Mapreduce：

map 端

任务分解

shuffle连接（桥）

reduce 端

将前面任务分解执行完的结果进行汇总

分而治之 归约处理

应用场景：离线批处理数据（海量的）

缺点：启动开销大、高延迟 所以小数据不建议应用