hadoop中分区详解

最新推荐文章于 2022-10-27 18:04:02 发布
最新推荐文章于 2022-10-27 18:04:02 发布
阅读量4k 收藏 8
点赞数 2
分类专栏： hdoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43548518/article/details/105662359
版权

分区的目的
把不同数据输出到不同reduceTask 最终到输出不同文件中

分区概念
数据的分发到不同reducer /不同文件
就是数据发送到多个目的地规则

hadoop 的默认分区原则
默认规则是： hashpartitioner
按照key的hashCode % reduceTask 数量 = 分区号
默认reduceTask 数量为1，当然也可以在driver 端进行设置
以下是Partition 类中源码
在这里插入图片描述
hadoop 的分区作用位置
mapTask 输出先到收集器，收集器数据写入环形缓冲区前先进行分区
在这里插入图片描述
自定义partitioner实现

分区号是从0开始的，自定义的时候返回分区号码也必须是从0开始的
在这里插入图片描述

public class ProvincePartitioner extends Partitioner
最低0.47元/天 解锁文章
shining0903lxy
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop系列(8):数据存储之数据分区及放置策略
UDST
03-31 3142
1、分区的定义及作用定义：将表、索引或索引编排细分为更小的段，数据库对象的每一个段称为区。作用：分区操作可以并行执行；分区之间相互独立，系统可用性高；查询操作可以仅查询部分分区而不是整个数据库。2、分区方式（1）范围分区范围分区：按照数据表中某个值得范围进行分区，根据值得范围决定数据所在分区。主要特点：能够根据数据的范围，将不同范围的数据存储在不同的分区。适用：按照时间范围存储数据的系统（日志）（...
Hadoop详解(四)——Shuffle原理，Partitioner分区原理，Combiner编程，常见的MR算法
09-02 8160
Partitioner编程Partition简介shuffle是通过分区partitioner 分配给Reduce的 一个Reducer对应一个记录文件Partitioner是shuffle的一部分partitioner执行时机：在mapper执行完成，Reducer还没有执行的时候，mapper的输出就是partitioner的输入 即partitioner 分区主要是用来提高效率的 例如从全国
Hadoop3 - MapReduce 分区介绍及自定义分区
小毕超博客
10-23 1174
当MapReduce中有多个reducetask执行的时候，此时maptask的输出到底给哪个reducetask来处理呢？其中有个分区规则，默认情况下采用也就是根据key % 分区数确定到底是哪个分区：那如果默认的无法满足我们，也是可以进行自定义分区规则的，只需要继承类，然后在方法中返回具体的分区编号即可。下面还是使用上篇文章的案例，如果我们对五个州的数据统计放在一起，其他的州放在一起。static {} }修改驱动类，设置为6，
Hadoop的mapreduce之分区Partitioner
严同学在努力
10-27 1256
Hadoop的mapreduce之美团数据分区Partition，提供代码可复制，这简单得有手就会的那种，
Hadoop 读取文件数据时是如何进行分区的？
简简单单的创作者
03-30 293
Hadoop 读取文件数据时是如何进行分区的？
hadoop 分片、分区概念
lcalqf的专栏
06-20 7854
参考博客：https://www.cnblogs.com/junneyang/p/5850440.html输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组。Hado...
006_hadoop中MapReduce详解_3
08-06
"006_hadoop中MapReduce详解_3"可能是指一个系列教程的第三部分，着重讲解MapReduce的核心概念、工作原理以及实际应用。在这个部分，我们可能会探讨更深入的技术细节和优化策略。 MapReduce的工作流程分为两个主要...
005_hadoop中MapReduce详解_2
08-06
在Hadoop生态系统中，MapReduce是一种分布式计算框架，它允许我们处理海量数据并行化，非常适合大规模数据集的处理。本文将深入解析MapReduce的工作原理、核心组件以及如何编写一个基本的MapReduce程序。 MapReduce...
hadoop迁移数据应用实例详解
10-16
【Hadoop 数据迁移详解】 在IT行业中，大数据处理和存储是一个关键环节，Hadoop作为开源的分布式计算框架，常用于处理大规模数据。本篇将详细阐述如何进行Hadoop数据迁移，包括虚拟机环境下的硬盘扩展以及Hadoop...
Hadoop中单词统计案例运行的代码
03-02
在这个"单词统计案例"中，我们将深入探讨Hadoop如何处理文本数据，进行简单的单词计数任务。这个任务是Hadoop初学者经常接触的经典示例，它展示了Hadoop MapReduce的基本工作原理。 MapReduce是Hadoop的核心计算...
MapReduce的运作详解之分区
阳哥的博客
08-06 3511
分区的概念： Map阶段处理的数据，在向环形缓冲区写的时候 是以分区的方式写的 一般情况下，MR程序分区数有多少 reduceTask数量就应该有多少 ，一个分区的数据一个reduceTask去处理，reduceTask处理完成之后都会生成一个结果文件 ...
【Hadoop】【 MapReduce】【shuffle机制 】【01】分区
weixin_43589563的博客
09-23 322
1.MapReduce工作流程 （1）客户端提交任务之前，会先对job进行处理，提交三种东西 本地模式没有jar包，集群模式有jar包 （2）将job信息提交给Yarn的RM （3）RM分配AppMaster，Appmaster计算出需要多少个MapTask （4）然后经过InputFormat处理成kv和切片交给Mapper （5）Mapper处理完，将数据写入环形缓冲区 （6）环形缓冲区默认大小100M，默认达到80%的时候，开启一个新的线程从缓冲区溢写到磁盘中 环形缓冲区中一边存储索引，一边存储数据
【Hadoop】视图、分区与索引
weixin_38776330的博客
08-19 531
加粗 斜体 标题 删除线 无序 有序 待办 引用 代码块 BashCC++C#CLikeCSSGoHandlebarsJavaJavaScriptKotlinMarkupObjective-CPerlPHPShellPythonRubySQLSwiftVB.NetYAMLErlangScalaClojureCobolCoffeeScriptCommonLispHtm
关于Hadoop的经典习题
一个程序媛的成长记录❤
04-16 5636
以下哪一项不属于Hadoop可以运行的模式___C___。 A.单机（本地）模式 B.伪分布式模式 C.互联模式 D. 分布式模式 Hadoop的作者是下面哪一位__B____。 A.Martin Fowler B.Doug cutting C.Kent Beck D.Grace Hopper Doug Cutting所创立的项目的名称都受到其家人的启发，以下项目不...
hadoop MapReduce自定义分区partition的作用和用法
maenlai0086的博客
03-07 659
背景 在Hadoop的MapReduce过程中，每个map task处理完数据后，如果存在自定义Combiner类，会先进行一次本地的reduce操作，然后把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下： public class HashPartitioner<K, V&...
hadoop中的Partitioner分区
Aronlulu的专栏
04-08 365
hadoop的map/reduce中支持对key进行分区，从而让map出来的数据均匀分布在reduce上，当然，有时候由于机器间配置问题，可能不需要数据均匀，这时候也能派上用场。 框架自带了一个默认的分区类，HashPartitioner，先看看这个类，就知道怎么自定义key分区了。 public class HashPartitioner extends Partitioner { ...
Map/Reduce中分区和分组的问题
dajuezhao的专栏
08-11 7438
一、为什么写 分区和分组在排序中的作用是不一样的，今天早上看书，又有点心得体会，记录一下。 二、什么是分区 1、还是举书上的例子，在8.2.4章节的二次排序过程中，用气温举例，所以这里我也将这个例子说一下。 源数据内容 1900 35°C 1900 34°C 1900 34°C ... 1901 36°C 1901 35°C 书上的例子是为了去除一年当中气温最高的值，那么将年份和气温做了一个复合的key. 2、通过设置了part
hadoop-分区
岸芷汀兰
12-05 1007
hadoop分区的实现分区的作用： 1. 根据业务需要，产生多个文件输出 2. 多个reduce任务在运行，提高整体job的运行速度。实现方法： 在驱动类里写个分区内部类，它必须继承HashPartitioner接口，同时实现getPartition方法。job指定分区类 job.setPartitionerClass(KpiPartitioner.class); j
Hadoop自定义分区Partitioner
lavimer
01-17 3548
一：背景 为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自定义key的分发规则，如数据文件包含不同的省份，而输出的要求是每个省份对应一个文件。 二
MapReduce详解包括配置文件
最新发布
04-18
该模型源于Google的原始论文《MapReduce: Simplified Data Processing on Large Clusters》，由Doug Cutting领导的团队在Hadoop中实现了这一概念。 MapReduce的工作流程主要分为两个阶段：Map阶段和Reduce阶段。在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值