WritableComparable

最新推荐文章于 2022-10-04 18:02:18 发布
最新推荐文章于 2022-10-04 18:02:18 发布
阅读量1.4k 收藏 2
点赞数 2
分类专栏： 大数据，hadoop，MapReduce 文章标签： 大数据 hadoop MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39468795/article/details/78338504
版权
 
MapReduce中WritableComparable该接口实现了Writable和Comparable接口，而Writable接口中定义了readFields(DataInput in)方法和write(DataOutput out)方法，分别用来实现序列化和反序列化，而Comparable接口中定义了compareTo方法，该方法用来重写shuffle过程中对key的排序，因此如果想要让自定义的类作为map方法中的输出的key，必须让自定义方法实现WritableComparable接口，如果仅仅让自定义类作为map端输出的value，则可以仅仅实现Writable接口不实现Comparable接口。
总之：Writable接口是用来序列化和反序列化用的，而Comparable接口是为了保证自定义类能够在shuffle过程中对key排序

只愿长胖十斤
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据第二次作业1
08-08
如果某个数据类型需要作为主键 key 使用，或者需要比较数值大小时，则需要实现 WritableComparable 接口。WritableComparable 接口继承自 Writable 接口，并添加了 compareTo() 方法。compareTo() 方法用于比较两个...
Hadoop案例：WritableComparable实现分区内排序
小M呀~之大数据系列
12-03 1628
排序是maprduce的重要部分，这里将利用继承WritableComparable实现自定义排序。
hadoop中Writable类和WritableComparable类、序列化和反序列化
STAR GAME
01-29 1777
Writable类和WritableComparable类 序列化和反序列化 Writable ：对Java基本类型提供封装（short和char除外），使其可以实现序列化和反序列。所有的封装包包含get() 和 set() 方法用于读取或者设置封装的值。在Hadoop中定义一个结构化对象都要实现，使得该结构化对象可以序列化为字节流，字节流也可以反序列化为结构化对象。 WritableComparable：WriteCompareable接口是Wirtable接口的二次封装，提供了compareTo(T
hadoop面试题（全）
m0_67991849的博客
05-06 5022
前言 来自大数据老哥的博客，[原文出处](https://blog.csdn.net/qq_43791724/article/details/113761869 用于查漏补缺 1、集群的最主要瓶颈   磁盘IO 2、Hadoop运行模式   单机版、伪分布式模式、完全...
Hadoop中的MapReduce框架原理、WritableComparable排序、排序分类、WritableComparable排序案例实操（全排序）、（二次排序）
Redamancy06的博客
10-04 1291
二次排序、在自定义排序过程中，如果compareTo中的判断条件为两个即为二次排序、辅助排序：（GroupingComparator分组） 在Reduce端对key进行分组。应用于：在接收的key为bean对象时，想让一个或几个字段相同（全部字段比较不相同）的key进入到同一个reduce方法时，可以采用分组排序、全排序最终输出结果只有一个文件，且文件内部有序。实现方式是只设置一个ReduceTask。但该方法在处理大型文件时效率极低，因为一台机器处理所有文件，完全丧失了MapReduce所提供的并行架构、
WritableComparable排序案例（全排序）
Faith_xzc
07-15 639
WritableComparable排序案例（全排序）需求1. 需求说明2. 文件案例分析1. 需求分析2. 输入数据3. 期望输出数据4. FlowBean类5. Mapper类6. Reducer类代码实现1. 编写FlowBean类2.编写Mapper类3.编写Reducer类4.编写Driver类结果截图 需求 1. 需求说明 对文件中的对总流量进行排序（降序排列） 2. 文件 案例分析 1. 需求分析 根据手机的总流量进行排序，即最终输出的文件只有一个，且文件内部有序。 2. 输入数据 3.
Hadoop平台技术 排序操作案例.docx
07-12
总结来说，Hadoop的排序机制是通过MapTask和ReduceTask的组合操作实现的，而自定义排序则需要实现WritableComparable接口并重写compareTo方法。这种灵活性使得用户可以根据具体业务需求对数据进行复杂排序，从而优化...
大数据平台-MapReduce介绍.pdf
03-03
其他重要类与接口包括Configuration类、Job类、Writable接口和WritableComparable接口。Configuration类读取配置文件。Job类配置、提交Job，控制其执行，查询其状态。Writable接口序列化输入输出。...
HadoopMapReduce-分区、排序、切片等.zip
最新发布
10-04
public int compare(WritableComparable a, WritableComparable b) { // 自定义比较逻辑 } } ``` ### 3. 切片（Slicing） 切片是指将大文件拆分成多个小块（Block），每个块作为一个单独的输入分片（InputSplit...
Hadoop大作业排序.zip
07-02
Writable 的子接口 WritableComparable，重写里面的 write, readFields 6 和 compareTo 方法，所以可以自定义一个类作为 key，类中包含 2 个 需要进行排序的字段，并在类中实现比较算法，先判断 first_name 是 否...
WritableComparable排序案例实操（全排序）
Knight
04-25 567
import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; public class FlowBean implements WritableComparable<FlowBean>...
Hadoop WritableComparable接口收集的知识
02-13 3521
Hadoop WritableComparable接口
Hadoop 之 Writable , WritableComparable 接口
Andrew的成长之路
10-26 1583
1.Writable 序列化时重要的接口，很多Hadoop中的数据类型都实现来这个接口，常见的有：FloatWritable ，DoubleWritable ，IntWritable ，LongWritable ,MapWritable ，Text 等Class 都实现来中个接口。 在Hadoop中定义一个结构化对象都要实现Writable接口，使得该结构化对象可以序列化为字节流，字节流也可以反序列
Hadoop mapreduce自定义排序WritableComparable
qiezikuaichuan的专栏
06-18 1246
本文发表于本人博客。     今天继续写练习题，上次对分区稍微理解了一下，那根据那个步骤分区、排序、分组、规约来的话，今天应该是要写个排序有关的例子了，那好现在就开始！      说到排序我们可以查看下hadoop源码里面的WordCount例子中对LongWritable类型定义，它实现抽象接口WritableComparable，代码如下： 1.public inte
自定义WritableComparable全排序
isea_you's blog
11-22 655
目录 案例 代码实现： 案例 数据源： 13470253144 180 180 360 13509468723 7335 110349 117684 13560439638 918 4938 5856 13568436656 3597 25635 29232 13590439668 1116 954 2070 13630577991 6960 690 7650 1368284655...
为什么hadoop mapReduce中的数据类型使用Hadoop自定义的而不是数据类型
尤托匹亚的博客
09-22 209
Hadoop数据类型和java数据类型的区别 要寻求这个问题的答案我们先来看看二者在代码实现上有何区别和二者在使用场景上的主要区别 hadoop数据类型的实现： @Stringable @InterfaceAudience.Public @InterfaceStability.Stable public class Text extends BinaryComparable implements WritableComparable<BinaryComparable> {
WritableComparable区内排序
isea_you's blog
11-22 494
目录 需求： 原始数据： 实现代码： 结果： 需求： 原始数据： 13509468723 7335 110349 117684 13975057813 11058 48243 59301 13568436656 3597 25635 29232 13736230513 2481 24681 27162 18390173782 9531 2412 11943 1363057799...
MapReduce之WritableComparable类介绍
说文科技，做有态度的研究。
06-23 1331
WritableComparable类介绍 1.源码 package org.apache.hadoop.io; import org.apache.hadoop.classification.InterfaceAudience; import org.apache.hadoop.classification.InterfaceStability; @InterfaceAudience...
writablecomparable
03-16
writablecomparable是一个Java接口，它表示一个可写的可比较的对象。它继承了Writable和Comparable两个接口，因此实现了该接口的对象可以被序列化和比较。在Hadoop中，WritableComparable接口被广泛用于MapReduce...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值