mapreduce为什么分两部分

于 2021-03-07 18:17:27 发布
阅读量68 收藏
点赞数
分类专栏： hadoop 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czxylzl/article/details/114492102
版权

是为了实现分布式计算，提高计算效率。
很多情况下都是需要对整个数据集进行计算操作，单单的分成每个单独的小部分虽然能提高计算效率，但是导致无法完成实际需求，是没有任何意义的，
所以添加一个reduce阶段，负责将分成多个部分计算的结果汇总进行处理，使得更加能满足一般需求

大数据面试指南
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop计算框架：MapReduce
07-21
文档较详尽的讲述了MR的简介，MR初学分析示例（有代码）、MR特性，MR的执行过程（有代码），MR单元测试介绍（有代码）、HA的架构和配置、同时也向大众推荐了两本书。其中部分有较为详尽的链接以供参考。
Mapreduce实验报告.doc
03-10
Mapreduce实验报告 前言和简介 MapReduce是Google提出的一种编程模型，在这个模型的支持下可以实现大规模并行化计 算。在Mapreduce框架下一个计算机群通过统一的任务调度将一个巨型任务分成许多部分 ，分别解决然后合并得到最终结果。Mapreduce可以让程序员以简单的程序来解决实际问 题，而隐藏了诸如分布、工作调度、容错、机器间通信，使得大规模任务简单而迅速地 完成。 1. Mapreduce的基本原理 1. 核心思想。 "Divide and Conquer"是Mapreduce的核心思想。面对一个规模庞大的问题，要 处理是以TB计的数据，Mapreduce采用"输入"------"分解"------"解决"----- -"聚合"------"输出结果"的基本过程。 2. 基本原理 Map和Reduce是两个核心操作，用户定义的map函数接收被切割过的原始的key/ value对集并且计算出一个中间key/value对集。Mapreduce库函数将所有的具有 相同key值的value聚合在一起交给用户定义的reduce函数处理。reduce函数将 同一key值的所有value合并成得到输出文件。在整个过程中，Mapreduce库函数 负责原始数据的切割，中间key/value对集的聚合，以及任务的调度，容错、通 信控制等基础工作。而用户定义的map和reduce函数则根据实际问题确定具体操 作。 2. 框架的基本结构和执行流程 基本结构 Mapreduce框架的主要程序分为三种即Master，Map和Reduce。 1. Master：主要功能有两个，任务的分割和任务的调度。Master把输入文件切成许 多个split，每个split文件一般为几十M。Master同时还要调度任务监视各个 map worker和reduce worker的工作状态，以做出相应的安排。Master还要监视各个子任务的完成进 展情况。 Master用到的数据结构 Struct Split[] //文件切割后的信息 struct MapSTATE[] //记录各个map任务的情况。 struct ReduceSTATE[R] //各个reduce任务的情况。 Type Map=0，Reduce=0 //记录map任务和reduce任务的完成个数。 MapWorkerSTATE[] ReduceWorkerSTATE[] //各个工作机器的忙闲状态 FileSplit(string inputfilename) //输入文件切割 JobAssign（） //工作任务分配 2. Map：主要功能是读取经过切割split文件形成一个map任务，分析map任务，得到 中间结构并且将同一类型的中间文件存放在同一个区域内等待特定的reduce程 序读取。 3. Reduce：不同的Reduce读取各个Map得到的特定的中间文件，将所有相同的中间 文件整合成最后的输出文件。 任务执行基本流程 基本流程图见下一页 首先输入收据文件被Mapreduce库函数分割成M个split集。用户定义的程序被 拷贝到机群中，其中一个是master，其它的都是worker。M个map任务和R个reduc e任务将被分配。Master负责调度任务和过程监视。随时检测worker的工作状况， 任务的完成进度。Map worker每完成一个子任务向master报告。 一个被分配了map任务的worker读取一个split集，该worker从这个split集中 分析出key/value对，然后有map函数来处理这些key/value对并得到中间key/val ue对，这些key/value对将最终存放在map worker的本地硬盘上。每完成一个任务报告master。 中间key/value对被存在本地硬盘的R个不同的区域中，由于可能的key值很可 能不止R个，故必须利用一个分割函数来划分中间文件，常用的是散列的方法（如 hash(key) mod R）。保证key值相同的key/value对被存放同一区域中，并且将位置报告给maste r。如果同一个key的中间文件多而小可以考虑用cmobine函数在本地进行合并。 当所有的split都被分析完成之后，reduce worker开始工作，每个reduce根据master的安排和信息指示利用机群的内部文件 系统读取map worker本地磁盘中特定位置的中间文件。 Reduce开始聚合中间文件，得到自己的输出文件。在聚合的过程中由于有很 多key值，一般将用到排序。Reduce worker完成自己的工作后向master报告。 控制 分析key/value对 分区写入磁盘 读取 *单向箭头表示控制，双向箭头表示控制
MapReduce:一些示例 MapReduce 代码
06-21
地图简化 一个充满示例 MapReduce 代码的存储库。 要求 这些示例只需要一本好的电子书即可。 一个受欢迎的地方是 。 一旦你有一两本书，它们必须放在 HDFS 上的输入目录中才能使这些示例工作。 项目 这是所有项目的列表以及有关它们的一些信息。 字数 这是经典的 MapReduce 示例，用于计算书中单词的频率。 Mapper 的输入是文本文档中的行。 映射器获取每一行并根据空格将其拆分为单词。 Mapper 然后输出一个单词作为键，输出值 '1' 作为它不输出值。 Reducer 获取每个单词并总结每个单词的值。 这导致输出具有“字数”格式。 为了加快速度，Reducer 用作组合器，在将结果发送到 Reducer 之前，在每个 Mapper 的输出上运行。 组合器用于计算单词的部分字数，以减轻 Reducer 所需的发送和处理数据量。 建造 要构建此程序，请使用 Word
MyMapReduce:mapreduce的实现
07-09
SHAVADOOP 项目 Map Reduce在Java中的实现 一、简介 作为该项目的一部分，我实施了一个程序，该程序遵循 Google 科学论文的 Map Reduce 架构。 这个程序是用 Java 编写的，对给定的文档执行“字数统计”，并返回一个包含每个单词出现次数的文件。 在该程序的架构中，有一个 Master 负责指导 Map-Reduce 作业，而 Slaves 是远程机器，它们以分布式方式执行任务。 主机读取和剪切 - 根据给定的行数 - 输入文本，并将行以分布式方式发送给 Slaves，Slaves 将“拆分”数据并将它们以 Key (word) 的形式写入文件中 -值（单词出现的次数）。 这一步是地图。 在每个“拆分”结束时，Master 读取文件并构建一个字典，该字典将引用找到它们的单词和文件。 键（字）-值（文件地址） 当所有 Maps 完成后，对于字典中的每
基本排序算法及其在MapReduce的应用
02-01
该文档为学习基本排序算法过程中的学习笔记，大部分内容从网络上其他渠道也能得到，仅用于记录备忘之用。冒泡、选择、插入三种作为基本的排序算法是必须要掌握的，而在MapReduce的实际应用中。在Map阶段，k-v溢写时，采用的正是快排；而溢出文件的合并使用的则是归并；在Reduce阶段，通过shuffle从Map获取的文件进行合并的时候采用的也是归并；最后阶段则使用了堆排作最后的合并过程。所以快排、归并以及堆排是必须要掌握的排序算法，这都在MapReduce内部使用的排序算法，学习Hadoop的必须过程。 所谓算法稳定性即能够保证排序前两个相
MapReduce的架构组成
怀英小斋
11-21 1万+
MapReduce基本架构
例题详解MapReduce过程
quintind的专栏
10-14 2720
1、概述MapReduce程序主要可分为三部分，即：mapper、reducer、driver（即main函数提交作业部分），根据需求不同可以设置partitioner、combinner以及cleanup部分。后三部分作用分别描述如下： mapper:实现从输入文件中以（key，value）的形式获取想要提取的数据； reducer：实现将mapper的输出结果汇总、归并； driver：负责作业
总结：详细讲解MapReduce过程(整理补充)
热门推荐
MrLevo520的博客
08-06 2万+
关于整理 此文百分之七十摘自我认为讲的很清楚的博客，我都贴了地址，很感谢这些博主的无私奉献！我再将一些自己的实例代码和知识点的补充加入进去，希望能更好的理解mapreduce的整个过程。 从启动和资源调度来看MapReduce过程首先-先了解一下必知概念 From：MapReduce工作原理图文详解，JobTracker和TaskTracker概述客户端（Client）：编写mapreduc
12.MapReduce第2部分（WordCount词频统计、自然连接）
GoJawee的博客
08-19 960
一、程序要求二、WordCount设计思路假设三个分片，分别输入到三个不同的Map任务中去 行号：key 内容：value 三、MapReduce的具体应用之自然连接举例子：
使用JAVA8 stream中三个参数的reduce方法对List进行分组统计
大王的博客
01-15 2825
背景 平时在编写前端代码时，习惯使用lodash来编写‘野生’的JavaScript; lodash提供来一套完整的API对JS对象（Array,Object,Collection等）进行操作，这其中就包括_.groupBy 和 _.reduce，即分组和'聚合'（reduce不知道该怎么翻译合适）。 使用这些‘野生’的API能够极大的提高我本人编写JS代码的效率。而JAVA8开始支持st...
MapReduce的详细过程
ebay的专栏
05-14 7665
MapReduce作为hadoop的编程框架,是工程师最常接触的部分,也是除去了网络环境和集群配 置之外对整个Job执行效率影响很大的部分,所以很有必要深入了解整个过程。本文写作的目的在于使得读者对整个MapReduce过程有比较细致的了解,当自己需要定制MapReduce行为时,知道该重写 哪些类和方法。在写作时,我贴了部分认为重要的源码和接口,并跟着自己的理解,对于某些内容,结 合了自己在工作中遇到的问题,给出了实践参考。
Hadoop的文件系统介绍
czxylzl的博客
11-04 4385
Hadoop组成 Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。 Hadoop MapReduce：一个分布式的资源调度和离线并行计算框架。 Hadoop Yarn：基于HDFS,用于作业调度和集群资源管理的框架。 Hadoop Common：Hadoop工具包，支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作） 1、 H...
HDFS 新增节点
czxylzl的博客
11-06 2652
服役新数据节点 目标：掌握HDFS新添加节点到集群的步骤 需求基础： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 准备新节点 第一步：复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址 修改mac地址命令 vim /etc/udev/rules.d/70-p...
HDFS删除节点
czxylzl的博客
11-06 2412
退役旧数据节点 目标：掌握HDFS在集群中删除掉无效节点的步骤 第一步：创建dfs.hosts.exclude配置文件 在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件， 并添加需要退役的主机名称 node01执行以下命令 cd /export/servers/hadoop-2...
大数据 MapReduce框架核心思想
czxylzl的博客
11-13 2242
什么是计算框架 是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。 MapReduce计算框架 什么是并行计算框架 一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算。 Hadoop为什么比传统技术方案快 1、分布式存储 2、分布式并行计算 3、节点横向扩展 4、移动程序到数据端 5、多个数据副本 MapReduce核心思想 分而治之，先分后和：将一个大...
如何加快Hadoop集群二次启动的速度（SecondaryNamenode工作原理）
czxylzl的博客
11-05 2114
前提：不使用SNN,日志文件会很大，日志大会导致集群恢复到上次关机前的状态花费很长时间，这个时候集群处于 安全模式，集群不可用。长时间处于安全模式。 目标：加快集群二次启动的速度。（减少集群二次启动的时间） SecondaryNamenode周期性复制NameNode的FSIMAGE 和edits到本机（SecondaryNamenode本机），将两个 文件进行合并，最终生成全新的Fsimage,...
HDFS文件读写流程
czxylzl的博客
11-04 2064
DateNode作用 1.执行数据的读写（响应的是客户端） 2.周期性向NameNode做汇报（数据块的信息，校验和） 若datanode10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3.执行流水线的复制（一点一点复制） ...
Fsimage, Edits 详解
czxylzl的博客
11-05 2022
NameNode元数据解析 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载edits和fsimage文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）namenode记录操作日志，更新滚动日志。 （4）namenode在内存中对数据进行增删改查。 Fsimage Edits Fsimage 记录HDFS文件系统的镜像快照（周期...
sqoop接收到命令后部分转化为MapReduce程序
最新发布
06-13
是的，Sqoop在接收到导入或导出数据的命令后，会将数据转化为MapReduce程序进行处理。 在Sqoop中，数据导入和导出的过程主要分为两个阶段：首先，Sqoop会生成一个MapReduce作业，将数据从关系型数据库中导入或导出...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值