hadoop技术基本架构

一、Hadoop概述

hadoop由两部分组成,分别是分布式文件系统和分布式计算框架MapReduce。其中,分布式文件系统主要用于大规模数据的分布式存储,而MapReduce 则构建在分布式文件系
统之上,对存储在分布式文件系统中的数据进行分布式计算。

2、在Hadoop 中,MapReduce 底层的分布式文件系统是独立模块,用户可按照约定的一套接口实现自己的分布式文件系统,然后经过简单的配置后,存储在该文件系统上的数据便
可以被MapReduce处理。Hadoop 默认使用的分布式文件系统是HFDS(Hadoop   Distributed  File   System ,Hadoop   分布式文件系统),它与MapReduce 框架紧密结合。

二、Hadoop HDFS 架构

H D F S 是一个具有高度容错性的分布式文件系统,适合部署在廉价的机器上。H D F S 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 的架构如下图1所示,总体上采用了master/slave 架构,主要由以下几个组件组成:Client 、NameNode 、Secondary 和DataNode 。下面分别对这几个组件进行介绍。

                                                             图1 hadoop   HDFS 架构图

(1 )Client
C l i e n t (代表用户)通过与NameNode和DataNode交互访问H D F S 中的文件。Clien提供了一个类似POSIX 的文件系统接口供用户调用。

(2 )NameNode

整个H a d o o p 集群中只有一个NameNode。它是整个系统的“总管”,负责管理H D F S的目录树和相关的文件元数据信息。这些信息是以“fsimage”(H D F S 元数据镜像文件)和 “editlog ”(H D F S 文件改动日志)两个文件形式存放在本地磁盘,当H D F S 重启时重新构造出来的。此外,NameNode 还负责监控各个DataNode 的健康状态,一旦发现某个DataNode 宕掉,则将该DataNode 移出H D F S 并重新备份其上面的数据。
(3 )Secondary  

NameNodeSecondary   NameNode 最重要的任务并不是为NameNode 元数据进行热备份,而是定期合并f s i m a g e 和e d i t s 日志,并传输给NameNode 。这里需要注意的是,为了减小N a m e N o d e压力,NameNode 自己并不会合并fsimage 和edits ,并将文件存储到磁盘上,而是交由Secondary   NameNode 完成。
(4 )DataNode

一般而言,每个S l a v e 节点上安装一个DataNode ,它负责实际的数据存储,并将数据
息定期汇报给NameNode 。DataNode 以固定大小的b l o c k 为基本单位组织文件内容,默认情况下b l o c k 大小为6 4 M B 。当用户上传一个大的文件到H D F S 上时,该文件会被切分成
若干个b l o c k ,分别存储到不同的DataNode ;同时,为了保证数据可靠,会将同一个b l o c k以流水线方式写到若干个(默认是3 ,该参数可配置)不同的DataNode 上。这种文件切割后存储的过程是对用户透明的。

三、Hadoop   MapReduce 架构

1、同H D F S 一样,Hadoop   MapReduce 也采用了Master / Slave (M /S )架构,具体如下图2所示。它主要由以下几个组件组成:Client 、JobTracker 、  TaskTracker 和Task 。下面分别对这几个组件进行介绍。

                                                                        图2  H a d o o p   MapReduce 架构图

(1 )Client

用户编写的MapReduce 程序通过Client 提交到JobTracker 端;同时,用户可通过Client 提供的一些接口查看作业运行状态。在Hadoop 内部用“作业”(Job)表示MapReduce 程序。一个MapReduce 程序可对应若干个作业,而每个作业会被分解成若干个Map/Reduce 任务(Task)。

(2 )JobTracker

JobTracker 主要负责资源监控和作业调度。JobTracker 监控所有TaskTracker 与作业的健康状况,一旦发现失败情况后,其会将相应的任务转移到其他节点;同时,JobTracker 会跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉任务调度器,而调度器会在资源出现空闲时,选择合适的任务使用这些资源。在H a d o o p 中,任务调度器是一个可插拔的模块,用户可以根据自己的需要设计相应的调度器。

(3 )TaskTracker

TaskTracker 会周期性地通过Heartbeat 将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,同时接收JobTracker 发送过来的命令并执行相应的操作(如启动新任务、杀死任务等)。TaskTracker 使用“slot”等量划分本节点上的资源量。“slot”代表计算资源(CPU、内存等)。一个Task 获取到一个slot 后才有机会运行,而Hadoop 调度器的作用就是将各个TaskTracker 上的空闲slot 分配给Task 使用。slot 分为Map  slot 和Reduce  slot 两种,分别供Map Task 和Reduce Task 使用。TaskTracker 通过slot 数目(可配置参数)限定Task 的并发度。

(4 )Task

Task 分为Map  Task 和Reduce  Task 两种,均由TaskTracker 启动。从上一小节中我们知道,HDFS 以固定大小的block 为基本单位存储数据,而对于MapReduce 而言,其处理单位是split。

split 与block 的对应关系如下图3所示。split 是一个逻辑概念,它只包含一些元数据信息,比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。但需要注意

的是,split 的多少决定了Map Task 的数目,因为每个split 会交由一个Map Task 处理。

                                                        图3   split 与block 的对应关系

PS:

1、Map  Task 执行过程如图4所示。由该图可知,Map  Task 先将对应的s p l i t 迭代解析成一个个key / value 对,依次调用用户自定义的map ( ) 函数进行处理,最终将临时结果存放到本地磁盘上,其中临时数据被分成若干个partition ,每个partition 将被一个Reduce  Task 处理。

                                                         图4    M a p   Ta s k 执行流程

2、Reduce   Task 执行过程如图5所示。该过程分为三个阶段

①从远程节点上读取Map  Task 中间结果(称为“Shuffle 阶段”);

②按照key 对key / value 对进行排序(称为“Sort 阶段”);

③依次读取< key,   value   list > ,调用用户自定义的reduce ( ) 函数处理,并将最终结果存到HDFS 上(称为“Reduce 阶段”)。

                                                                   图5  R e d u c e   Ta s k 执行过程

 

 

PS

1、Hadoop   MapReduce 直接诞生于搜索领域,以易于编程、良好的扩展性和高容错性为设计目标。它主要由两部分组成:编程模型和运行时环境。其中,编程模型为用户提供了5个可编程组件,分别是InputFormat 、Mapper 、Partitioner 、Reducer、OutputFormat ;运行时环境则将用户的MapReduce 程序部署到集群的各个节点上,并通过各种机制保证其成功运行。
2、Hadoop   MapReduce 处理的数据一般位于底层分布式文件系统中。该系统往往将用户的文件切分成若干个固定大小的block 存储到不同节点上。默认情况下,MapReduce 的每个Ta s k 处理一个block。  MapReduce 主要由四个组件构成,分别是Client 、Job Tracker 、TaskTracker 和Task ,它们共同保障一个作业的成功运行。一个MapReduce 作业的运行周期是,先在Client 端被提交到JobTracker 上,然后由JobTr acker 将作业分解成若干个Ta s k ,并对这些Ta s k 进行调度和监控,以保障这些程序运行成功,而TaskTracker 则启动JobTracker 发来的Ta s k ,并向Job Tracker 汇报这些Task 的运行状态和本节点上资源的使用情况。

 

  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一种用于处理大数据的开源框架,它提供了分布式存储和分布式处理能力,通过将数据分散存储和处理在集群中的多台计算机上,能够实现高速、可靠和可扩展的数据分析。 Hadoop大数据技术期末考试主要涉及以下几个方面。 第一,Hadoop框架的基本原理和核心组件的使用。这包括Hadoop分布式文件系统HDFS、分布式计算框架MapReduce、以及资源管理器YARN。学生需要了解Hadoop架构、数据的存储和计算方式以及数据的调度和管理。 第二,Hadoop生态系统的相关技术。除了Hadoop本身的核心组件,还有许多与之相关的技术,如数据仓库Hive、数据流处理系统Samza、大数据批处理框架Spark等。学生需要了解这些技术的特点、用途以及与Hadoop的集成方式。 第三,Hadoop的应用和实践案例。学生需要了解Hadoop在实际中的应用场景,如金融、电信、医疗等行业。同时,还要了解一些常见的大数据处理问题,如数据清洗、数据安全和性能优化等,并能够运用Hadoop技术解决这些问题。 第四,Hadoop的性能调优和故障处理。学生需要了解如何通过调整Hadoop的配置参数、优化任务调度和数据划分等手段来提高Hadoop的性能。同时,还要了解常见的故障类型和故障排除的方法。 以上几个方面是Hadoop大数据技术期末考试的主要内容。通过学习这些知识,学生能够全面了解Hadoop大数据框架的原理和应用,为将来从事与大数据相关的工作打下坚实的基础。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值