Hadoop -实现自定义的Key类型

Hadoop MapReduce的key类型的实例应该可以进行互相比较来满足排序的目的。为了在一个MapReduce计算中用作键类型,Hadoop的Writable数据类型应该实现org.apache.hadoop.io.WritableComparable<T>接口。WritableComparable接口继承于org.apache.hadoop.io.Writable接口,并增加了CompareTo()方法来执行比较。

下面是以HTTP服务器日志条目实现自定义hadoop WritableComparable数据类型的步骤,它使用请求的主机名和时间戳进行比较。

具体代码示例如下:

public class LogPair implements WritableComparable<LogPair> {
    private Text userIP = new Text();//用户IP
    private Text timestamp = new Text();//时间戳
    private Text request = new Text();//请求页面
    private IntWritable responseSize = new IntWritable();//请求页面大小
    private IntWritable status = new IntWritable();//状态码

    public Text getUserIP() {
        return userIP;
    }

    public void setUserIP(Text userIP) {
        this.userIP = userIP;
    }

    public Text getTimestamp() {
        
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值