大数据hadoop之MapReduce数据处理过程

最新推荐文章于 2023-04-20 21:27:33 发布
最新推荐文章于 2023-04-20 21:27:33 发布
阅读量2.8k 收藏 5
点赞数 1
文章标签： hadoop MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengzhigang1998/article/details/107136766
版权
简介MapReduce是一种编程模型，在真正应用于工作上时，它分为MapTask阶段和ReduceTask阶段，用于大规模数据集（大于1TB）的并行运算。概念"Map（射）“和"Reduce（约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的
摘要由CSDN通过智能技术生成

流程图与过程详解

MapTask阶段
在这里插入图片描述

  1. 既然需要进行数据处理，自然需要我们提供数据，那么首先我们需要提供待处理的文件，可以是一个也可以是多个

  2. 在我们(客户端)提交(submit())数据前，客户端会获取数据的信息，根据参数配置，形成任务分配的规划，即计划切片数(默认一个切片大小128M，hadoop老版本是64M)
    注：虽然切片的大小是按照128M为一个分界线，但是如果有两个文件需要被切片，那么不论第二的文件多小，都独占一个切片，不需要跟在第一个文件最后一个切片的末尾,如图
    在这里插入图片描述

  3. 然后需要提交切片信息，包含job.split(切片)、wc.jar(本地模式无需提交，集群下需要)、job.xml(配置信息),这些信息

  4. 接着Yarn会调用RM(ResourceManager)会创建MrAppmaster(job资源的老大)、NodeManager。其中MrAppmaster会根据split(分片)决定启动MapTask的数量。

  5. 开始读取数据，调用InputFormat这个接口去读取，其中默认情况下是采用InputFormat下的TextInputFormat这个具体实现类进行的，特点是每次读取文本数据，是一

最低0.47元/天 解锁文章
少年惨绿
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
MapReduce处理数据流程
weixin_47699191的博客
03-28 2425
一.mapreduce流程 Inputformat会将切片中每一行的数据表达成kv形式,k是这一行数据的偏移量(longwritable),v是每一行数据内容类型(text) map端会将每一行的数据进行处理,生成若干对kv作为中间结果,经过hashpartition分区后进入环形缓冲区,当环形缓存区满80%后会将数据溢写磁盘(这里会有溢写文件的合并叫做merge) 然后reduce端通过http的形式请求task tracker获取map task输出的文件,reduce端接收到数据后会进行一系列的合并
MapReduce处理数据的流程
weixin_47681855的博客
09-30 2366
MR数据处理的流程 MR是一种对海量数据进行运算的框架,模型,是一种面向面向大规模数据处理的一种方法, 是用来对超大的数据进行运算和分析的. 它一般由mapper端和reducer端两部分内容组成. 首先任何工具方法都是源于客户的需求;当我们对客户需求进行分析以后再利用这些存储工具或运算工具去达成客户的需求.基于这一点去思考MR的流程 MR处理数据的简要思路: mapper端主要的任务是对元数据进行处理,由于数据量特别大用一台机读取效率太低,用多台机器读同样的任务效率也不会提升; 所以我们对一个大的文件进行
MapReduce 程序内部数据处理流程全解析
阿华田的博客
04-20 2239
主要分为以下几个阶段： 1.输入分片（input split）： InputFormat有两个任务：对源文件分片，确定Mapper数量；对分片进行格式化，处理成<key,value>形式的数据给Mapper 在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input...
为何要split大小和block大小是相同的（默认）
似水流年
11-24 2277
Mapreduce数据处理过程 作业（job）是Mapreduce数据处理单元，分为两大过程：map和reduce； 首先作业提交集群中被分成若干小的任务（task）执行具体操作步骤，二job和task是被jobtracker和tasktracker分别控制执行的，前者是管理job后者管理task。 在数据操作过程中，jobtracker通过调用tasktracker中任务（task）集协调
大数据Hadoop、MapReduce、Hive项目实践
最新发布
11-09
大数据Hadoop、MapReduce、Hive项目实践是当前大数据处理领域中最流行的技术组合。本文将对大数据的概念、特性、应用场景，以及Hadoop、MapReduce、Hive等技术的架构、组件、应用场景进行详细介绍。 大数据概念 ...
大数据Hadoop核心之MapReduce详解
01-17
大数据Hadoop核心之MapReduce详解 MapReduce是Hadoop核心模块之一，作为一个分布式运算程序的编程框架，用于用户开发基于Hadoop的数据分析应用。MapReduce的核心功能是将用户编写的业务逻辑代码和自带默认组件整合...
大数据 hadoop mapreduce 词频统计
10-23
总的来说，大数据Hadoop MapReduce词频统计是大数据分析的重要应用之一，它揭示了文本数据的内在结构，为文本挖掘、信息检索等应用提供了基础。通过理解和掌握这一技术，开发者可以更好地应对现代数据驱动决策的需求...
尚硅谷大数据技术之Hadoop（MapReduce）1
08-08
【尚硅谷大数据技术之Hadoop（MapReduce）1】深入解析MapReduce MapReduce是Google提出的一种用于处理和生成大规模数据集的编程模型，被广泛应用于大数据处理领域。Hadoop将其作为核心组件，实现了分布式计算的功能...
MapReduce数据处理流程(四)
weixin_37901366的博客
04-20 1456
写满80%之后，环形缓冲区会发生溢出，在这之前需要按照Key对数据进行排序，然后将数据写出到本地磁盘（包含kv数据，以及一份索引文件-记录kv所属分区，分区偏移量等）。⑨⑩ Reduce Task通过Node manager提供的服务，基于Http协议，拉取上一步map task落地磁盘的文件。②③循环调用LineRecordReader，读取文件中的数据，具体读取方式取决于 InputFormat的类型。④返回数据，其中key为数据偏移量，value为某一行数据。的数据，并对数据进行合并。
MapReduce处理数据过程介绍
super-yong的博客
02-26 2116
MapReduce处理数据的过程     input -&gt;map -&gt;shuffle -&gt;reduce -&gt;output     -a 针对input和output来讲         正常情况下，你不需要编写代码，只需要指定需要处理的文件路径即可     -b map和reduce中间有一个shuffle阶段         属于MapReduce框架自己的事情，当然我们...
Python科学计算之Pandas groupby、字符串、索引高阶操作
小叮当的博客
10-14 1552
文章目录Groupby操作字符串操作 Groupby操作 建立一个DataFrame结构进行groupby操作 import pandas as pd import numpy as np df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'], 'B' : ['one', 'one', 'two', 't
mapreduce详细工作流程
weixin_44085938的博客
12-20 5897
mapreduce工作流程 map任务处理 1.1 框架使用InputFormat类的子类把输入文件(夹)划分为很多InputSplit，默认，每个HDFS的block对应一个InputSplit。通过RecordReader类，把每个InputSplit解析成一个个<k1,v1>。默认，框架对每个InputSplit中的每一行，解析成一个<k1,v1>。 1.2 框架调用Mapper类中的map(…)函数，map函数的形参是<k1,v1>对，输出是<k2,v2
MapReduce的数据流程、执行流程
sinat_35914858的博客
08-14 955
MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤 1.首先对输入数据源进行切片 2.master调度worker执行map任务 3.worker读取输入源片段 4.worker执行map任务，将任务输出保存在本地 5.master调度worker执行reduce任务，reduce worker读取map任务的输出文件 6.执行r
mapreduce运行机制
05-27 305
mapreduce运行机制，这些按照时间顺序包括：输入分片（input split）、map阶段、combiner阶段、shuffle阶段和reduce阶段。 partition 是一定有的，只是个数从1 到 n combiner 是可以定义的 1. 输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算...
海量数据处理：MapReduce法
zhengzaifeidelushang的博客
08-01 1586
海量数据处理：MapReduce法 MapReduce适用于大规模数据集（通常大于1TB）的并行运算，核心操作是Map（映射）和Reduce（化简）。Map函数独立地对每个元素进行操作，用于把一组健值对映射成一组新的健值对，即先通过Map程序将数据切割成不相关的区域，分配（调度）给大量计算机处理达到分布计算的效果，然后通过指定并发的Reduce函数来将结果汇总，保证所有映射键值对中的每一个共享相同的键组。 Map是把一组数据一对一地映射为另外的一组数据，其映射的规则由一个函数来指定，例如对【1，2，4，8
context.write
hechenghai
06-16 8286
今天因为Context.write的一个问题调试了半天， 对于hadoop的context.write来讲，必须保证有值写入，不能是null，如果是null会让map输出和reduce的输入不匹配而造成程序运行错误。
MAPREDUCE详细过程
07-18 1446
在进行map计算之前，mapreduce会根据输入文件计算输入分片（inputsplit），每个输入分片（inputsplit）针对一个map任务。.此阶段分为sort和combine.首先分区过得数据会经过排序之后写入环形内存缓冲区.在达到阈值之后守护线程将数据溢出分区文件.spill结果会有很多个文件,但最终输出只有一个,故有一个merge操作会合并所有的本地文件,并且该文件会有一个对应的索引文件....
尚硅谷大数据：Hadoop MapReduce详解
"尚硅谷大数据技术之Hadoop MapReduce文档，主要介绍了MapReduce的概念、优缺点、核心思想、进程、常用数据序列化类型、编程规范以及通过WordCount案例进行实操的详细步骤。" MapReduce是Google提出的一种分布式...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值