MapReduce数据类型及自定义MapReduce数据类型

MapReduce数据类型

数据类型都要实现Writable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储。自定义key数据类型的时候,因为需要对key进行排序,需要继承java中的比较器,所以可以直接继承WritableComparable(WritableComparable继承了Writable和Comparable)。

基本数据类型:

  • BooleanWritable
  • ByteWritable
  • DoubleWritable
  • FloatWritable
  • IntWritable
  • LongWritable
  • Text
  • NullWritable:当

自定义MapReduce数据类型

1、实现Writable接口
重写 write()和readFields()方法

2、实现WritableComparable接口
重写 write(),readFields()和compareTo()方法,compareTo()方法用户shuffle过程中根据key排序时使用。

注意:以上两种方式在使用的使用都需要进行重写重写toString(), hashCode(), equals()

具体的自定义数据类型的代码如下:

public class UserWritable implements WritableComparable <UserWritable>{
    private int id;
    private String name;
    public int getId() {
        return id;
    }
    public void setId(int id) {
        this.id = id;
    }
    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public UserWritable() {
    }
    public UserWritable(int id, String name) {
        set(id, name);
    }
    public void set(int id, String name) {
        this.setId(id);
        this.setName(name);
    }


    //注意!!!:此两个方法读写字段的顺序必须保持一致,不一致将会出错
    public void readFields(DataInput in) throws IOException {
        this.id = in.readInt();
        this.name = in.readUTF();
    }
    public void write(DataOutput out) throws IOException {
        out.writeInt(id);
        out.writeUTF(name);
    }


    public int compareTo(UserWritable o) {
        int comp = Integer.valueOf(this.getId()).compareTo(o.getId());
        if(0 != comp)
            return comp;
        return this.getName().compareTo(o.getName());
    }

    @Override
    public String toString() {
        return id +"\t"+ name;
    }
    @Override
    public boolean equals(Object o) {
        if (this == o) return true;
        if (o == null || getClass() != o.getClass()) return false;

        UserWritable that = (UserWritable) o;

        if (id != that.id) return false;
        return name != null ? name.equals(that.name) : that.name == null;
    }

    @Override
    public int hashCode() {
        int result = id;
        result = 31 * result + (name != null ? name.hashCode() : 0);
        return result;
    }

}
  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值