案例简述MapReduce与HDFS协同工作流程

最新推荐文章于 2023-04-27 23:00:00 发布
最新推荐文章于 2023-04-27 23:00:00 发布
阅读量668 收藏 2
点赞数
分类专栏： 云计算技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29718979/article/details/88385678
版权
本文通过案例介绍MapReduce在Hadoop中的工作流程，从JobClient开始，提交作业到JobTracker，任务调度到TaskTracker，再到MapTask和ReduceTask的执行，详细阐述了MapReduce如何与HDFS配合进行大数据处理。尽管效率受限于磁盘操作，但适合离线数据处理。
摘要由CSDN通过智能技术生成

       MapReduce是Hadoop开源大数据包的重要计算工具，后期的Spark、Storm等组件均采用MapReduce的计算模型。而MapReduce在工作时，实际与HDFS在一起工作。接下来我用一个案例来解析MapReduce的工作流程。

        1、Java程序采用MapReduce的SDK开发包进行程序开发。实际程序启动时，将在客户端创建一个JobClient端，正式开启一个MapReduce实例。

        2、JobClient通过getNewJobId()接口向Master节点中的JobTracker请求创建一个新的MapReduce作业。

        3、JobClient将程序执行JAR包、配置文件、数据块，下发到HDFS中属于JobTracker的目录下。

        4、完成以上准备工作后，JobClient调到JobTrakcer的submitJob()接口提交作业。

        5、JobTracker将提交的作业放入作业队列中等待作业调度。

        6、JobTrakcer从HDFS中取出JobClient放好的数据，并创建对应数据的Map任务及Reduce任务。

        7、接下来，JobTracker将空闲的TaskTracker分配具体的Map任务和Reduce任务。正常情况下，HDFS存储的服务器与Map任务服务器应在同一台服务器，以减少数据在不同服务器的copy时间。

        8、被分配了任务的TaskTracker从HDFS文件中取出所需的文件，包括JAR包和数据文件，存入本地磁盘ÿ

最低0.47元/天 解锁文章
qq_29718979
关注
专栏目录
hadoop平台上HDFS和MAPREDUCE的功能、工作原理和工作过程
dianjianjing1378的博客
06-06 1048
作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS常用功能 1.元数据 2.检查点 3.DataNode功能 HDFS工作原理 １　分布式文件系统，它所管理的文件是被切块存储在...
大数据学习之测试hdfs和mapreduce(二)
07-22 165
上篇已经搭建好环境，本篇主要测试hadoop中的hdfs和mapreduce功能。 首先填坑：启动环境时发现DataNode启动不了。查看日志 从日志中可以看出，原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。打开hdfs-site.xml里配置的datanode和namenode对应的目录，分别打开curre...
【大数据之Hadoop】二十一、MapReduce、HDFS、Yarn配合工作（作业提交全过程）
最新发布
阿宁的博客
04-27 678
（20）缓冲区内部对数据分区存储，当数据进入到环形缓冲区时就进行分区标记（会根据分区进入到不同的reduce），缓冲区一侧存数据，一侧存索引，当数据达到80%时进行反向溢写。（3）该程序将运行所需资源提交到HDFS集群路径上，包括split切片信息（控制开启MapTask的数量）、配置参数文件xml（控制任务按照xml里的参数运行）以及jar包（程序代码）。（16）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验），客户端以Packet为单位接收，先在本地缓存。
大数据中HDFS、MapReduce、Hbase常见工作执行流程总结
学习永不止步
07-06 940
大数据中HDFS、MapReduce、Hbase常见工作执行流程总结
Mapr与Mapreduce配合工作（四）——公平调度
maoxiao_jsd的专栏
12-31 1055
公平调度是一个多用户的MapReduce作业调度程序，使企业能够共享在多个用户之间的大型集群，并确保所有的工作获得的CPU时间大致相等的份额。 公平调度组织工作成池和共享资源，公平地对所有池。默认情况下，每个用户分配一个独立的游泳池，因此，获得群集的一个相等的份额，无论有多少就业机会，他们提交。在每个池中，公平分享是用来分享的正在运行的作业的能力。池也可以被赋予权重，在配置文件中不按比例分担集群
hadoop部分：hadoop生态圈的理解（HDFS，MapReduce，HBASE，zookeeper，hive，sqoop，flume，kafka，yarn，spark）
zhang__rong的博客
03-09 2520
一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 二、核心 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，...
Hadoop 1.x：体系结构，主要组件以及HDFS和MapReduce的工作方式
从零开始的教程世界
07-09 1063
Before reading this post, please go through my previous post at “Introduction to Hadoop” to get some Apache Hadoop Basics. 在阅读这篇文章之前，请仔细阅读我在Hadoop简介上的文章，以获取一些Apache Hadoop基础知识。 In this post, we are g...
Hadoop（HDFS、Yarn、MapReduce、Zookeeper、Kafka、Flume、Storm、Spark） 知识点总结
zhz的博客
06-26 1011
知识点总结请简述HDFS集群的总体架构以及NameNode、DataNode和SecondaryNameNode的作用。什么是HDFS的机架感知策略？在HDFS使用该策略有什么优点？简述HDFS读写数据的流程。简述YARN集群的总体架构以及ResourceManager、NodeManager、ApplicationMaster和Container的作用。以单词计数为例，简述MapReduce计算模型的三个阶段。在ZooKeeper集群中，znode节点有哪几种类型？不同类型的节点分别具有什么特点？什么是H
HDFS和MapReduce工作原理
weixin_43087634的博客
11-28 2443
HDFS工作流程： namenode工作流程： 1）第一阶段：namenode 启动 （1）第一次启动 namenode 格式化后，创建 fsimage 和 edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）namenode 记录操作日志，更新滚动日志。 （4）namenode 在内存中对数据进行增删改查。 2）第二阶段：Sec...
hdfs,mapreduce相关流程总结
yumingzhu1的博客
07-05 5222
HDFS读写数据的过程写 1)client向namenode发送请求,namenode从元数据中检查目标文件是否存在,上传路径路径是否合法2)namenode返回是否可以上传文件,假设可以上传3)client请求第一个 block该传输到哪些datanode服务器上  4)namenode返回可以上传的datanode 服务器dn1 dn2  dn45)client将于datanode中最近的一个...
hdfs-mapreduce处理流程（二）
Java架构师联盟
02-25 383
1、问题：在这张图中有几个工人,几个工厂 工人: 4 --map处理程序 厂: 3 --reduce相当于最后的工厂 组装 2、map端进行了什么事:砍树这一步叫做split 过程 砍树—把我们hdfs的文件进行切割(砍树) ----- 默认与block块的大小一 致(128M) split=block=maptask 2.1当然为了更好的处理，在计算资源充足的情况下，把split变大设置为25...
hadoop系列(四)HDFS的工作机制，MapReduce，yarn流程及核心原理
qq_38130094的博客
01-08 1179
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
web18224617243的博客
08-28 1126
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍。基本涵盖了Hadoop分布式平台的所有技术核心。从体系架构到数据定义到数据存储再到数据处理，从宏观到微观的系统介绍，为Hadoop平台上大规模的数据存储和任务处理打下基础。部分参考《Hadoop实战指南》...
MapReduce工作流程概述
weixin_41636030的博客
10-30 1390
Mapreduce工作流程概述  HDFS以固定大小的block为基本单位存储数据，而对于mapreduce而言，其处理单位为split；split是一个逻辑概念，它只包含一些元数据信息，如数据起始位置，数据长度，数据所在节点等，它的划分方法完全由用户自己决定 Map任务数量  Hadoop为每个split创建一个map任务，split多少决定了map任务的数目  大多数情况下，理想的分片大小是一个hdfs块 注意：每个block不是严格分为128MB，而是有上下10%左右的偏差 Reduce任务
MapReduce和HDFS
iuie_sl的博客
03-10 1376
MapReduce的工作机制 简单分为3部 1）MapReduce作业的提交 客户端进行编码运行后，客户端会先向JobTracker请求一个Job ID 请求后JobTracker会创建这个Job id,检查job的输入输出目录，检查分片情况，如果出现异常将停止运行抛出异常， JobClient将运行作业所需要的资源(Jar文件，配置文件和计算所得输入分片)复制到一个作业ID命名的目录下JobT
【Hadoop】MapReduce工作流程
懒懒的小白
03-21 1098
MapReduce工作流程
MapReduce提交到hdfs上执行
mainjay的博客
10-31 877
在此之前,我现在虚拟机hdfs上新建一个文件测试。
云计算系列（2）初识HDFS与MapReduce
qq_47997583的博客
12-19 1481
1. 配置HDFS 2. web端查看HDFS文件系统 3. 配置yarn 4. web端查看yarn系统 5. 配置mapreduce 6. 运行MapReduce的WordCount 程序
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值