MR_shuffle流程笔记

最新推荐文章于 2020-12-12 15:27:03 发布
最新推荐文章于 2020-12-12 15:27:03 发布
阅读量131 收藏
点赞数
分类专栏： hadoop笔记 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/quancuizuishuai/article/details/107489619
版权

在这里插入图片描述

下面是我一些对流程源码的理解
还是WordCount案例，进入到context.write()方法
在这里插入图片描述
进入到mapContext.write()方法在这里插入图片描述
进入到write方法
在这里插入图片描述
在进入到write方法
在这里插入图片描述
可以看到有一个collectorc.collect()方法
其中getPartition()作用是获得当前数据的分区号
我们进入这个方法
在这里插入图片描述
因为我自定义了partition并指定了分区类
所以执行的是我重写过的getPartition方法
如果没有重写或者指定分区类，那么就会执行默认的getPartition方法
在这里插入图片描述
返回，我们进入到collect方法，作用是序列化key和value（方法很长，直接截取序列化片段）在这里插入图片描述
在这里插入图片描述
未完

quancunzuishuai~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MR的Shuffle过程
weixin_33966095的博客
04-27 307
为什么80%的码农都做不了架构师？>>> ...
MR shuffle流程详解
FlatTiger的博客
02-18 1142
Map之后，Reduce之前的这段数据处理过程，叫做shuffle。 Map端通过map方法把数据写出到环形缓冲区中。 环形缓冲区默认100M，数据达到80%时，溢写数据并反向写入索引和数据。 数据溢写后进行分区和快速排序。 分区排序后的数据可进行combiner合并数据。 merge归并分区排序后的数据。 归并后的数据还可以再进行combiner合并，然后压缩，存储到磁盘。 Reduce端先将相同分区的数据加载到缓存中，如果缓存足够，直接merge归并数据；如果缓存不够，先将数据溢写到磁盘，再进行me
【MapReduce】浅谈MR Shuffle流程
Together
07-27 405
MapReduce shuffle： Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。 在shuffle之前，MapReduce通过InputFormat接口中的getSplit（）方法，对要当前要处理的HDFS块数据进行逻辑上的分片（split）操作，进而确定MapTask的个数 // 分片不会超过blockSize的大小，取goalSize和minSize的最大值 finalSplitSize=max(minSize,min(goalSize,blockSize))
MR过程+shuffle过程
qq_40454655的博客
10-26 1034
MapReduce的执行流程 Shuffle过程 Map的输出结果首先被缓存到内存，当环状缓冲区达到80% （默认大小为100MB），就会启动溢写(Spill)操作，当前启动溢写操作时，首先把缓存中的数据进行分区(partition。默认对key hash后再除以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力)，对每个分区的数据进行排序和合并。之后再写入到...
mr！shuffle详细全过程
热门推荐
qq_15074737的博客
11-06 1万+
MapReduce的shuffle过程详解（分片、分区、合并、归并。。。） 2018年07月29日 20:56:34 ASN_forever 阅读数：626 shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具...
MR_bocwen.rar_MR_bocwen_Magnetorheological_damper_磁流变 simulink_阻
07-14
综上所述，"MR_bocwen.rar"中的"HWbridge_S2.mdl"文件提供了研究和分析磁流变阻尼器性能的Simulink模型。利用这个模型，工程师们可以深入理解磁流变阻尼器的工作原理，进行控制策略设计和优化，以提升系统的振动控制...
MR_WINDOWS_DRIVER_6.14-6.714.18.00-WHQL.zip
05-19
"MR_WINDOWS_DRIVER_6.14-06.714.18.00"即为该控制器的Windows驱动程序，版本号为6.14至6.714.18.00，该驱动程序经过WHQL（Windows Hardware Quality Labs）认证，确保了与Windows操作系统的兼容性和稳定性。...
developer-branch_MR_ForYouIWill_matlab_
10-04
标题“developer-branch_MR_ForYouIWill_matlab_”暗示了这是一个与开发相关的项目，特别在语音识别领域，可能是一个针对病理学的研究。"MR"可能是“Machine Reading”或“Medical Recognition”的缩写，而...
光洋DS24A_MR
03-19
光洋DS24A_MR是一款由光洋公司推出的工业级产品，主要应用于自动化、机械制造、电子设备等领域。这个压缩包文件"光洋DS24A_MR.rar"包含了该产品的全面技术资料，对于理解、安装、配置和维护DS24A_MR至关重要。 首先...
MR_Hist
03-31
标题“MR_Hist”可能指的是一个关于医学影像处理，特别是磁共振成像（Magnetic Resonance Imaging, MRI）的历史数据分析项目。在这个项目中，很可能使用了Python编程语言进行数据处理和分析。以下是对这个主题的详细...
first_mr_test
06-22
通过这个“first_mr_test”项目，初学者可以学习如何使用Java编写MapReduce作业，理解数据处理流程，并逐步熟悉Hadoop集群的管理和作业调度。同时，这也是对分布式计算模型的实践，有助于提升大规模数据处理的能力。
MR_Jack_Pocket
02-10
MR_Jack_Pocket<<<<<<< HEAD DECE READ_ME。 阅读READ_ME。 486b0dd6256173bbba4f0e7a46b568b51035d2d6
EMD.zip_EMD_Huang homepage EMD_MR_emd包
09-15
【标题】"EMD.zip_EMD_Huang homepage EMD_MR_emd包" 是一个与emd相关的MATLAB软件包，源自黄先生（可能是某位在EMD（Empirical Mode Decomposition，经验模态分解）领域有影响力的专家）的个人主页。这个压缩包包含...
phd.rar_MR_biomedical_biomedical signal_image enhance_magnetic
07-13
BIOMEDICAL SIGNAL AND IMAGE PROCESSING The main goal of the thesis is to show the de-...magnetic resonance (MR) data sets i.e two-dimensional (2-D) image slices and three-dimensional (3-D) image volumes
mr_jazz_framework
05-15
Mr_Jazz的测试框架Jazz先生是一个简单的用javascript编写的测试框架，以使我们能够测试Jazz的Note应用程序。安装为了安装Jazz先生，您需要将回购文件下载为zip文件并将其移至您的工作目录中。 确保SpecRunner.html中...
MR Shuffle流程 入门
鸭梨的博客
12-12 403
什么是shuffle? 从map方法的输出开始,到作为输入数据传给reduce方法的过程叫做shuffle. shuffle流程是怎样的? map端 map方法开始产生输出数据时，并不是简单地将它写到磁盘. 每个map任务都会有一个环形内存缓冲区用于存储map的输出数据。在默认情况下，缓冲区的大小为100MB,这个值可以通过mapreduce.task.io.sort.mb属性来调整。一旦缓冲区的内容达到阈值（默认是0.8，或者是80%，属属性是mapreduce.map.sort.spill.percen
mr的shuffle过程
huangxiaoxun235的博客
06-15 3877
Map Task Map Task产生输出的时候，并不是直接将数据写到本地磁盘，这个过程涉及到两个部分：写缓冲区、预排序。 （1）写缓冲区 每一个Map Task都拥有一个“环形缓冲区”作为Mapper输出的写缓冲区。写缓冲区大小默认为100MB（通过属性io.sort.mb调整），当写缓冲区的数据量达到一定的容量限额时（默认为80%，通过属性io.sort.spill.percent调整）
MR过程和Shuffle详解
weixin_44824330的博客
10-11 1794
一 MR 过程 MR框架是使用InputFormat为map所需的数据进行预处理，并为其提供数据。两个功能：切片，封装keyvalue 因为InputSplit为逻辑切分而非物理拆分，所以说还需要RecoderReader根据InputSplit中的信息里处理InputSplit中的具体信息，加载数据并转换为合适的Map任务的keyvalue，输入给Map任务 Map是自定义的逻辑，根据In...
将给定列表的每个元素对象数据格式到单独的一行：const columns = [ { title: 'ID', dataIndex: 'mr_id', key: 'mr_id', }, { title: '指纹ID', dataIndex: 'mr_gene_id', key: 'mr_gene_id', }, { title: '样品条码号', dataIndex: 'mr_sample', key: 'mr_sample', }, { title: 'DNA条码号', dataIndex: 'mr_dna', key: 'mr_dna', }, { title: '引物名称', dataIndex: 'mr_primer', key: 'mr_primer', }, { title: '荧光编号', dataIndex: 'mr_dye', key: 'mr_dye', }, { title: '分型类型', dataIndex: 'mr_type', key: 'mr_type', }, { title: '分型', dataIndex: 'mr_genotype', key: 'mr_genotype', }, { title: '种属', dataIndex: 'mr_species', key: 'mr_species', }, { title: '电泳板条码号', dataIndex: 'mr_plate', key: 'mr_plate', }, { title: '孔位号', dataIndex: 'mr_well', key: 'mr_well', }, { title: '状态', dataIndex: 'mr_status', key: 'mr_status', }, { title: '所属人', dataIndex: 'mr_manager', key: 'mr_manager', }, { title: '创建日期', dataIndex: 'mr_create_date', key: 'mr_create_date', }, { title: '更新日期', dataIndex: 'mr_update_date', key: 'mr_update_date', }, { title: '图谱的OCR信息', dataIndex: 'mr_ocr', key: 'mr_ocr', }, { title: '图谱路径', dataIndex: 'mr_file', key: 'mr_file', }, { title: '备注', dataIndex: 'mr_comments', key: 'mr_comments', }, ];
最新发布
05-30
您可以使用map方法将给定列表的每个元素对象格式化为单独的一行，示例代码如下： ``` const columns = [ { title: 'ID', dataIndex: 'mr_id', key: 'mr_id' }, { title: '指纹ID', dataIndex: 'mr_gene_id', key: 'mr_gene_id' }, { title: '样品条码号', dataIndex: 'mr_sample', key: 'mr_sample' }, { title: 'DNA条码号', dataIndex: 'mr_dna', key: 'mr_dna' }, { title: '引物名称', dataIndex: 'mr_primer', key: 'mr_primer' }, { title: '荧光编号', dataIndex: 'mr_dye', key: 'mr_dye' }, { title: '分型类型', dataIndex: 'mr_type', key: 'mr_type' }, { title: '分型', dataIndex: 'mr_genotype', key: 'mr_genotype' }, { title: '种属', dataIndex: 'mr_species', key: 'mr_species' }, { title: '电泳板条码号', dataIndex: 'mr_plate', key: 'mr_plate' }, { title: '孔位号', dataIndex: 'mr_well', key: 'mr_well' }, { title: '状态', dataIndex: 'mr_status', key: 'mr_status' }, { title: '所属人', dataIndex: 'mr_manager', key: 'mr_manager' }, { title: '创建日期', dataIndex: 'mr_create_date', key: 'mr_create_date' }, { title: '更新日期', dataIndex: 'mr_update_date', key: 'mr_update_date' }, { title: '图谱的OCR信息', dataIndex: 'mr_ocr', key: 'mr_ocr' }, { title: '图谱路径', dataIndex: 'mr_file', key: 'mr_file' }, { title: '备注', dataIndex: 'mr_comments', key: 'mr_comments' }, ]; const formattedColumns = columns.map((column) => { return { title: column.title, dataIndex: column.dataIndex, key: column.key, }; }); console.log(formattedColumns); ``` 这样，您就可以将给定列表的每个元素对象数据格式到单独的一行了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值