MapReduce当中自定义对象的用法

最新推荐文章于 2022-07-14 10:38:34 发布

土地公公爷

最新推荐文章于 2022-07-14 10:38:34 发布

阅读量232

点赞数

分类专栏： Hadoop与MapReduce 文章标签： Hadoop MapReduce 自定义对象

原文链接：https://blog.csdn.net/mark_to_win/article/details/90376062

版权

Hadoop与MapReduce 专栏收录该内容

33 篇文章 0 订阅

订阅专栏

到目前为止，我们在hadoop网络上传的变量类型都是预定义的类型比如Text或IntWritable等，但有时需要我们，自己建一个类，把预定义的简单数据类型封装在里头而且还能像预定义的类型一样在hadoop网络中传输，这样更便于管理和运作。这样就需要向下面这样implements Writable。实现write和readFields方法。思路：如果想求平均值的话，按照前一章讲的hello world方法，同一个键的所有值，同时都进同一个reduce方法，这样的话，我们可以以字符串的形式，把o1,p2,250.0和o1,p1,200.0两个字符串同时传到同一个reduce之后，经过处理，求和求平均值就可以了，但是这种方法毕竟显得有点笨，(但基本能解决所有问题)，所以我们可以用这一节所学的自定义对象的方法传值。显得高大上。讲述本节时，可以先讲一遍，明白了后，再讲一遍，说明为什么这么写程序。
需求：订单
o1,p2,250.0
o2,p3,500.0
o2,p4,100.0
o2,p5,700.0
o3,p1,150.0
o1,p1,200.0
求出每个订单的平均值：
o1    o1    0.0    225.0
o2    o2    0.0    433.3333333333333
o3    o3    0.0    150.0

package com;
import org.apache.hadoop.io.Writable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

。。。。。。。。。。。。。。。。。
    private String orderId;
    private Double amount;
/* 为了防止出现空指针，我们给后面不存在的变量赋予默认值*/
    private Double average=0.0;

    public Double getAverage() {
        return average;
    }

    public void setAverage(Double average) {