Mapreduce Hadoop之writableComparator的详细解释以及用法实现

最新推荐文章于 2020-12-24 17:00:08 发布
最新推荐文章于 2020-12-24 17:00:08 发布
阅读量1.1k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Summer_Styler/article/details/80048126
版权

最近研究了一下大数据的知识，对MapReduce writableComparator有一点理解，写出来记录一下。

查阅了一下HadoopAPI的文档：

该类并非被多数的衍生类所实现，其具体的子类为WritableComparator，

多数情况下是作为实现Writable接口的类的内置类，提供序列化字节的比较。如下图说所示：BooleanWritable, BytesWritable, ByteWritable, org.apache.hadoop.io.serializer.DeserializerComparator, DoubleWritable, FloatWritable, IntWritable, JavaSerializationComparator, LongWritable, LongWritable, MD5Hash, NullWritable， RecordComparator, Text, UTF8,都实现了RawComparator，作为其内部类。

Writable是Hadoop的序列化格式，Hadoop定义了这样的一个Writable接口。 一个类要支

最低0.47元/天 解锁文章
Summer_Styler
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MapReduce - A - 分组 - Comparator
BlessingXRY的博客
09-07 277
题目： 求每个通信商的上行、下行、总流量 (输出：通信商 上行 下行 总的) 思路： 通过手机号的前三位区分通信运营商 按照运营商分组后，在每个Reduce里计算各运营商总和即可 代码： //分组比较器 package Comparator02; import org.apache.hadoop.io.WritableComparable; import org.apache...
hadoop mapreduce中groupcomparator的简单理解
最新发布
u011250186的博客
03-25 104
hadoop mapreduce中groupcomparator的简单理解
06-Hadoop MapReduce 原理 排序 WritableComparator 和 WritableComparable
有上进心的阿龙
12-24 146
06-Hadoop MapReduce 原理 排序 WritableComparator 和 WritableComparable 所以比较器就是WritableComparator
Hadoop源码阅读之WritableComparator类
说文科技，做有态度的研究。
01-06 519
Hadoop源码阅读之WritableComparator类 1. 类简介 All Implemented Interfaces: Comparator, Configurable, RawComparator 包名：org.apache.hadoop.io.WritableComparator 2. 类释义 A Comparator for WritableComparables....
Hadoop源码分析：WritableComparator及排序实现方式
m0_46589706的博客
05-26 1272
通过MapReduce 中 comparator的获取可以了解到，若Mapper输出的Key为Hadoop自己的类型，则有属于自己的比较器实现排序。若是Key为自定义类型，则需要自定义类型，则需要实现WritableComparable接口。
Hadoop.MapReduce.分析
10-18
- **WritableComparator**: 提供了一种高效的比较方法，如`compareBytes`，用于直接比较序列化后的字节流。 - **RawComparator**: 在0.20版本后引入，用于提高性能。如果应用程序未定义RawComparator，Hadoop将...
MapReduce2中自定义排序分组
08-12
本文将详细探讨在 MapReduce2 中如何实现自定义排序和分组，以满足特定的数据处理需求。 首先，了解 MapReduce 的工作流程是必要的。Map 阶段将输入数据分割成多个块，并在各个节点上并行处理。Reduce 阶段则负责...
shuffle的关键阶段sort(Map端和Reduce端)源码分析
08-26
在 Hadoop 的 MapReduce 框架中，排序是 shuffle 过程中的一个关键阶段。排序的目的是将数据按照特定的顺序排列，以便于后续的处理。今天，我们将深入分析 shuffle 的关键阶段 sort（Map 端和 Reduce 端）的源码，...
lab3实验报告1
08-08
OrderBean作为键值对中的key使用，它需要实现`WritableComparable`接口，以便在MapReduce过程中进行序列化和反序列化以及比较。OrderBean包含6个属性，用于存储表中的数据，并提供get和set方法。`write`和`...
实验报告1
08-08
实验过程中参考了Apache Hadoop的官方文档以及一些技术博客，了解`WritableComparator`的使用以及MapReduce的相关优化策略。 通过这次实验，我们不仅加深了对Hadoop MapReduce的理解，也学会了如何设计和实现自定义...
毕业设计2018（共享平台）
10-19
2018 年毕业设计系统，系统围绕共享平台，分享包括文档，视频，买卖等信息，运用Mysql ，Spring，Mybatis-Plus ，加入了XSS 、sql 注入、html 过滤等过滤器，使用了redis 来控制session 会话时间等等
mapreduce编程模型之WritableComparator
菜皮的默默倾诉
09-29 1073
WritableComparator是一个类 这个类是用于mapreduce编程模型中的比较 排序  mapreduce中有两次排序 一次是 在环形缓冲区域之中进行分区 排序 还有一次是数据在reduce端获取文件之后进行分组 现在我讲的是后面那个  //Define the comparator that controls which keys are grouped together
MapReduce的GroupComparator
yzgyjyw的博客
06-05 2883
问题有如下的订单数据，想要查询出每一个订单中的最贵的商品Order_0000001 Pdt_01 222.8 Order_0000001 Pdt_01 222.8 Order_0000002 Pdt_03 522.8 Order_0000003 Pdt_01 222.8 Order_0000004 Pdt_01 222.8 Order_0000004 Pdt_05
MapReduce编程模型6——Writable、WritableComparable、RawComparator、WritableComparator
MAYIBO—BG的专栏
03-02 583
Writable Writable是一个可序列化的对象，它基于 DataInput和DataOutput实现了一个简单、高效的序列化协议。 Hadoop Map-Reduce 框架中的任何Key或者Value类型都要实现这个接口。 Writable接口的实现，通常都是要实现 read(DataInput) 静态方法，该静态方法将会构造一个新的实例，通过调用readFields(Data...
hadoop源码分析-WritableComparator
Elmo66的博客
10-12 571
类：public class WritableComparator implements RawComparator  方法一：   public static int compareBytes(byte[] b1, int s1, int l1,                                  byte[] b2, int s2, int l2) {     int e
WritableComparator RawComparator
maixia24的专栏
11-26 3315
IntWritable 实现了WritableComparable 接口, 它是Writable 和 java.lang.Comparable 接口的子类 package org.apache.hadoop.io; public interface WritableComparable extends Writable, Comparable { } 数据类型的比较在MapReduce中式
MapReduce在Map端按key排序，自定义排序方法Comparator
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-13 1694
默认情况下，Map端会对map的输出结果按照key升序排列，同时也可以自定义排序方法。 import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.slf4j.Logger; import org...
MapReducer中的GroupingComparator分组比较器实现
chuxingbubian的博客
11-26 1007
Pom.xml文件为： （2）实现思路 先介绍一个概念GroupingComparator组比较器，通过WordCount来理解它的作用。 WordCount中map处理完成后的结果数据是这样的： <good,1> <good,1> <good,1> <is,1> <is,1&am
Mapreduce中的GroupingComparator应用-查询订单最大金额
成都往右的博客
10-16 659
这个程序自定义了GroupingComparator,Partitioner,以及排序方法
深入解析MapReduce：Hadoop架构设计与实现
本书详细探讨了MapReduce的编程模型、运行环境和高级主题，适合Hadoop开发和运维人员学习。" MapReduce是Google提出的一种分布式计算模型，被广泛应用于大规模数据处理，尤其是在Hadoop生态系统中。本书《Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值