【图文详细 】MapReduce 中的 Partitioner

最新推荐文章于 2020-12-31 16:26:14 发布
最新推荐文章于 2020-12-31 16:26:14 发布
阅读量266 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42246689/article/details/84145480
版权

需求：根据归属地输出流量统计数据结果到不同文件，以便于在查询统计结果时可以定位到 省级范围进行 
 
思路：MapReduce 中会将 map 输出的 kv 对，按照相同 key 分组，然后分发给不同的 reducetask 默认的分发规则为：根据 key 的 hashcode%reducetask 数来分发，所以：如果要按照我们自 己的需求进行分组，则需要改写数据分发（分组）组件 Partitioner 自定义一个 CustomPartitioner 继承抽象类：Partitioner 然后在 job 对象中，设置自定义 partitioner： job.setPartitionerClass(ProvincePartitioner.class) 
 
下面是 MapReduce 程序实现 首先看 Partitioner:

再看 MapReduce 程序 FlowSumProvince:

最低0.47元/天 解锁文章
谦卑t
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce解决乘用车辆和商用车辆的销售数据分析
Allen的博客
09-06 6190
首先还是看下我们的需求 然后拿到我们的数据 可以看到我们的数据里面还有很多空值,是还没清洗的脏数据,一会我们处理的时候需要将其处理掉. 一.统计车辆不同用途的数量分布 package hadoop.MapReduce.car.Use; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; ...
MapReduce教程(二)MapReduce框架Partitioner分区
yuan_xw的专栏
03-12 4370
在进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，按照手机号码段划分的话，需要把同一手机号码段的数据放到一个文件中；按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多个文件，意味着有同样数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务，也就说Mapper任务要划分数据，对于不同的数据分配给不同的Reducer任务运行。Mappe
手写MapReduce之Partitioner分区（Java）
Mr.Zheng的博客
03-08 348
前言 通过继承Partitioner<MapKEYOUT,MapVALUEOUT > 实现对数据的输出的结果文件数量划分！ 测试数据 1 13736230513 192.196.100.1 www.zhengkw.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3...
MapReduce之分区器(Partitioner)
波波烤鸭的博客
04-04 2839
Partitactioner   Partitioner 组件可以对 MapTask后的数据按Key进行分区，从而将不同分区的Key交由不同的Reduce处理。这个也是我们经常会用到的功能。 1.使用场景   比如上个案例中我们统计出来了每个用户的流量数据，那么我们接下来想把统计的用户数据根据不同的手机号输出到不同的文件中，那么这时使用分区器就非常合适了。 2.HashPartitioner   ...
【MapReduce】MR 框架原理 之 Partitioner分区
懂得一千零一种,赋予你失败的方法！
12-31 652
文章目录Partition分区☠ 默认分区 --- HashPartitioner▪ 案例 --- WordCountMapper阶段Reducer阶段Driver阶段☠ 自定义Partitioner分区▪ 自定义分区基本步骤▪ 案例需求分析代码实现PhoneBean封装类ProvincePartitioner分区类Mapper阶段Reducer阶段Driver阶段★ 分区总结 Partition分区 在进行数据处理的时候要求将统计结果按照条件输出到不同文件中，这是就会将数据按照不同的条件进行区域..
MapReduce的Partitioner编程
dingqiu6346的博客
09-14 136
1． 概述 序列化（Serialization）是指把结构化对象转化为字节流。 反序列化（Deserialization）是序列化的逆过程。把字节流转为结构化对象。 当要在进程间传递对象或持久化对象的时候，就需要序列化对象成字节流，反之当要将接收到或从磁盘读取的字节流转换为对象，就要进行反序列化。 Java的序列化（Serializable）是一个重量级序列化框架，一个对象被...
Hadoop中MapReduce框架入门
03-01
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.对于业界的大数据存储及分布式处理系统来说Hadoop2提出的新MapReudce就是YARN:...
详细介绍Hadoop家族中的MapReduce原理
最新发布
12-26
详细介绍 Hadoop 家族中的 MapReduce 原理 MapReduce 是 Hadoop 家族中的核心组件之一，是一个分布式运算程序的编程框架。MapReduce 的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式...
MapReduce中文文档翻译
03-13
MapReduce模型的简单性和可扩展性使得没有并行计算经验的程序员也能轻松处理分布式系统中的任务。Google实现的MapReduce系统可以在数千台机器上运行，处理TB级别的数据。实际应用中，谷歌内部已经使用了数百个...
MapReduce核心思想图文详解
08-26
今天小编就为大家分享一篇关于MapReduce核心思想图文详解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
MapReduce中的partitioner
kqixiang945的专栏
08-20 150
1.日志源文件: 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1-...
Hadoop MapReduce中的Partitioner
精益求精
09-06 836
Partitioners负责划分Maper输出的中间键值对的key，分配中间键值对到不同的Reducer。Maper输出的中间结果交给指定的Partitioner，确保中间结果分发到指定的Reduce任务。        在每个Reducer中，键按排序顺序处理（Within each reducer, keys are processed in sorted order）。Combiner
第四章：Hadoop高级编程
10-19
1.MapReduce Shuffle过程2.使用MRUnit进行单元测试过程3.MapReduce 数据压缩：Snappy,Gzip,LZO4.MapReduce Partitioner,Combiner实现及应用5.MapReduce高级编程：实现数据去重，数据二次排序，倒排索引
MapReduce当中Partitioner的用法
qq_44594249的博客
07-23 287
Partitioner的用法： 防盗版实名手机尾号：73203。如果现在我们的需求变成，输出放在两个文件当中，按照关键字的首个字母的26个字母来分，头13个放在一个文件当中，以此类推， 这时我们就要用到partition的技术。 package com; import java.io.IOException; import java.util.StringTokenizer; import org...
MapReduce作业Map阶段和Reduce阶段重要过程详述（Partitioner、Combiner、Shuffle三个阶段的解析）
热门推荐
马超的博客
05-13 1万+
MapReduce作业Map阶段和Reduce阶段重要过程详述（Partitioner、Combiner、Shuffle）MapReduce作业Map阶段和Reduce阶段重要过程详述（Partitioner、Combiner、Shuffle三个阶段的解析）备注：map阶段包括partitioner、combiner；reduce阶段包括shuffle。combiner阶段：（combiner阶段：
Mapreduce中的分区Partitioner
我们始终是路人
10-26 501
import java.util.HashMap;import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author * */ public class ProvincePartitioner extends Partit
MapReduce中的分区方法Partitioner
xuefengmiao的专栏
05-02 500
在进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多个文件，意味着有同样数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务，也就说Mapper任务要划分数据，对于不同的
Mapreduce-Partition分析
05-21 2429
Partition所处的位置 Partition位置 Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求： 1）均衡负载，尽量的将工作均匀的分配给不同的reduce。 2）效率，分配速度一定要快。 Mapreduce提供的Partitioner Mapreduce默认的partitio
MapReduce快速入门系列(16) | MapReduce开发总结
不温卜火
04-30 5765
此篇文章讲述的是MapReduce的开发总结，希望能够帮助到各位小可爱呀！ 目录1. 输入数据接口：InputFormat2. 逻辑处理接口：Mapper3. Partitioner分区4. Comparable排序5. Combiner合并6. Reduce端分组：GroupingComparator7. 逻辑处理接口：Reducer8. 输出数据接口：OutputFormat 在编写Ma...
MapReduce中Partitioner的作用是什么？
05-20
在MapReduce中，Partitioner是用于将Mapper的输出键值对按照键进行分区的组件。Partitioner会根据MapReduce Job的设置，将键值对映射到特定的Reducer上，以便进行后续的处理。 Partitioner的作用主要有两个方面： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值