mapreduce实现流量汇总排序程序

最新推荐文章于 2024-06-05 00:04:54 发布

成都往右

最新推荐文章于 2024-06-05 00:04:54 发布

阅读量545

点赞数

分类专栏： hadoop 文章标签： mapreduce hadoop 排序

本文链接：https://blog.csdn.net/qq_37334135/article/details/78219901

版权

hadoop 专栏收录该内容

22 篇文章 0 订阅

订阅专栏

在流量汇总程序开发中已经写好了流量汇总程序（建议先看这篇），利用生成好的汇总过的文件接着来进行按照总流量由高到低排序。

因为maptask的最终生成文件中的数据是已经排序过的，默认就是按照key 归并排序，所以在传给reduce task的时候也就是排序过的。所以我们可以将输出bean作为key，电话号码作为value来输出。既然需要对bean根据总流量来进行排序，那么可以让FlowBean来实现WritableComparable接口而不是Writable接口，重写compareTo方法。

public class FlowBean implements WritableComparable<FlowBean>{

    private long upFlow;//上行流量

    private long downFlow;//下行流量

    private long totalFlow;//总流量

    //按照总流量倒序排
    public int compareTo(FlowBean bean) {
        return bean.totalFlow>this.totalFlow?1:-1;
    }

    //序列化时需要无参构造方法
    public FlowBean() {
    }

    public FlowBean(long upFlow, long downFlow) {
        this.upFlow = upFlow;
        this.downFlow = downFlow;
        this.totalFlow = upFlow + downFlow;
    }
    public void setFlowBean(long upFlow, long downFlow) {
        this.upFlow = upFlow;
        this.downFlow = downFlow;
        this.totalFlow = upFlow + downFlow;
    }
    //序列化方法 hadoop的序列化很简单，要传递的数据写出去即可
    public void write(DataOutput out) throws IOException {
        out.writeLong(upFlow);
        out.writeLong(downFlow);
        out.writeLong(totalFlow);
    }
    //反序列化方法 注意：反序列化的顺序跟序列化的顺序完全一致
    public void readFields(DataInput in) throws IOException {
        this.upFlow = in.readLong();
        this.downFlow = in.readLong();
        this.totalFlow = in.readLong();
    }
    //重写toString以便展示
    @Override
    public String toString() {
        return upFlow + "\t" + downFlow + "\t" + totalFlow;
    }
    get，set方法
}

public class FlowCountSort {
    /**
     * KEYIN：默认情况下，是mr框架所读到的一行文本的起始偏移量，Long，但是在hadoop中有自己的
     * 更精简的序列化接口(Seria会将类结构都序列化，而实际我们只需要序列化数据)，所以不直接用Long，而用LongWritable
     * VALUEIN：默认情况下，是mr框架所读到的一行文本的内容，String,同上，用Text
     * KEYOUT：是用户自定义逻辑处理完成之后输出数据中的key
     * VALUEOUT：是用户自定义逻辑处理完成之后输出数据中的value
     * @author 12706
     *
     */
    static class FlowCountSortMapper extends Mapper<LongWritable, Text, FlowBean, Text>{
        FlowBean flowBean = new FlowBean();
        Text text = new Text();
        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            String[] infos = line.split("\t");
            //获取手机号
            String phoneNum = infos[0];
            //获取上行流量，下行流量
            String upFlow = infos[1];
            String downFlow = infos[2];
            //设置总流量
            text.set(phoneNum);
            flowBean.setFlowBean(new Long(upFlow), new Long(downFlow));
            //根据key进行了排序，所以需要FlowBean实现WritableComparable接口
            context.write(flowBean, text);
        }
    }
    /**
     * KEYIN VALUEIN对应mapper输出的KEYOUT KEYOUT类型对应
     * KEYOUT,VALUEOUT：是自定义reduce逻辑处理结果的输出数据类型
     * KEYOUT
     * VALUEOUT
     * @author 12706
     *
     */
    static class FlowCountSortReducer extends Reducer<FlowBean, Text, Text, FlowBean>{
        @Override
        protected void reduce(FlowBean key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
            //直接写出去
            context.write(values.iterator().next(), key);
        }
    }
    /**
     * 相当于一个yarn集群的客户端
     * 需要在此封装mr程序的相关运行参数，指定jar包
     * 最后提交给yarn
     * @author 12706
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(FlowCountSort.class);
        //指定本业务job要使用的mapper,reducer业务类
        job.setMapperClass(FlowCountSortMapper.class);
        job.setReducerClass(FlowCountSortReducer.class);
        //虽然指定了泛型，以防框架使用第三方的类型
        //指定mapper输出数据的kv类型
        job.setMapOutputKeyClass(FlowBean.class);
        job.setMapOutputValueClass(Text.class);

        //指定最终输出的数据的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(FlowBean.class);

        //指定job输入原始文件所在位置
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        //指定job输入原始文件所在位置
        FileOutputFormat.setOutputPath(job,new Path(args[1]));
        //将job中配置的相关参数以及job所用的java类所在的jar包，提交给yarn去运行
        boolean b = job.waitForCompletion(true);
        System.exit(b?0:1);
    }
}

测试：
将工程打成jar包（flowcount.jar）上传到linux,启动hadoop集群。

在/flowcount/output下有汇总过的文件

[root@mini2 ~]# hadoop fs -cat /flowcount/output/part-r-00000
13480253104     180     180     360
13502468823     7335    110349  117684
13560436666     1116    954     2070
13560439658     2034    5892    7926
13602846565     1938    2910    4848
13660577991     6960    690     7650
13719199419     240     0       240
13726230503     2481    24681   27162
13726238888     2481    24681   27162
13760778710     120     120     240
13826544101     264     0       264
13922314466     3008    3720    6728
13925057413     11058   48243   59301
13926251106     240     0       240
13926435656     132     1512    1644
15013685858     3659    3538    7197
15920133257     3156    2936    6092
15989002119     1938    180     2118
18211575961     1527    2106    3633
18320173382     9531    2412    11943
84138413        4116    1432    5548

[root@mini2 ~]# hadoop jar flowcount.jar com.scu.hadoop.mr.FlowCountSort /flowcount/output /flowcount/sortoutput
...
[root@mini2 ~]# hadoop fs -ls /flowcount/sortoutput
Found 2 items
-rw-r--r--   2 root supergroup          0 2017-10-13 04:45 /flowcount/sortoutput/_SUCCESS
-rw-r--r--   2 root supergroup        551 2017-10-13 04:45 /flowcount/sortoutput/part-r-00000
[root@mini2 ~]# hadoop fs -cat /flowcount/sortoutput/part-r-00000
13502468823     7335    110349  117684
13925057413     11058   48243   59301
13726230503     2481    24681   27162
13726238888     2481    24681   27162
18320173382     9531    2412    11943
13560439658     2034    5892    7926
13660577991     6960    690     7650
15013685858     3659    3538    7197
13922314466     3008    3720    6728
15920133257     3156    2936    6092
84138413        4116    1432    5548
13602846565     1938    2910    4848
18211575961     1527    2106    3633
15989002119     1938    180     2118
13560436666     1116    954     2070
13926435656     132     1512    1644
13480253104     180     180     360
13826544101     264     0       264
13719199419     240     0       240
13760778710     120     120     240
13926251106     240     0       240

输出文件/flowcount/sortoutput/part-r-00000中看到了记录就是按照总流量由高到低排序。

成都往右

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
mapreduce实现流量汇总排序程序

在流量汇总程序开发中已经写好了流量汇总程序（建议先看这篇），利用生成好的汇总过的文件接着来进行按照总流量由高到低排序。因为maptask的最终生成文件中的数据是已经排序过的，默认就是按照key 归并排序，所以在传给reduce task的时候也就是排序过的。所以我们可以将输出bean作为key，电话号码作为value来输出。
复制链接

扫一扫