hadoop按照上行流量进行排序

最新推荐文章于 2022-07-11 16:05:28 发布

RZH_long

最新推荐文章于 2022-07-11 16:05:28 发布

阅读量1.2k

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/RZH_long/article/details/121501005

版权

本文详细介绍了如何使用Hadoop进行大数据处理，特别是针对上行流量数据，进行了排序的实例操作，涵盖了MapReduce的原理及其实现步骤，展示了Hadoop在大数据排序中的应用。

摘要由CSDN通过智能技术生成

package demo05.flowOrder;

import demo04.flow.FlowNum;
import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

/**
 * 排序和序列化要实现WritableComparable这个接口,重写compareTo和write，readFields方法
 * 在输出的时候hadoop会按顺序输出字节流
 */
public class FlowBean implements WritableComparable<FlowNum> {
    private Integer upFlow;
    private Integer downFlow;
    private Integer upCountFlow;
    private Integer downCountFlow;

    @Override
    public int compareTo(FlowNum o) {
        return this.upFlow > o.getUpFlow()?-1:1;
    }

    @Override
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeInt(upFlow);
        dataOutput.writeInt(downFlow);
        dataOutput.writeInt(upCountFlow);
        dataOutput.writeInt(downCountFlow);
    }

    @Override
    public void readFields(DataInput dataInput) throws IOException {
        this.upFlow = dataInput.readInt();