hadoop 排重优化

最新推荐文章于 2020-06-07 23:05:26 发布

weixin_34088838

最新推荐文章于 2020-06-07 23:05:26 发布

阅读量79

点赞数

文章标签：大数据 python

原文链接：https://my.oschina.net/osenlin/blog/500819

版权

2019独角兽企业重金招聘Python工程师标准>>>

如果觉得有帮助的话就顶下吧

在统计的时候经常会用到排重，比如想统计每日登陆用户，但是一个用户一次多次登陆情况，或者一个产品被多少个用户下载。。等等情况

截图一是我之前写的代码：

下面是我优化后代码

public static class ReduceTask extends Reducer<Text, Text, Text, IntWritable> {

    private IntWritable rval = new IntWritable();
    private Multiset<Text> multiset=HashMultiset.create();

    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context)
            throws IOException, InterruptedException {

        multiset.clear();
        for (Text item:values){
            multiset.add(item);
        }

        rval.set(multiset.elementSet().size());
        context.write(key, rval);
    }
}

Multiset，会将相同的key,存到value种，只要将key遍历出来取值的个数就是排重后的数据。

前者是循环嵌套查找但是占用内存少 ,1179个组，平均每个组被分到6万条，最坏情况下(6w/2)^2*1179级别的循环，后者利用hashmap高效的存取值方式，是O(n)的级别，但是占用内存比较大

性能对比，下图是输入的数据,经过map的筛选，，