解决MapReduce中Reduce迭代器只能使用一次的问题

在MapReduce编程中发现Reduce中的迭代器貌似只能使用一次,第二次使用迭代出的数据即为空,很烦恼。其实解决方法很简单:在第一次迭代中就把要迭代的数据保存到一个容器中(例如保存到一个链表中),以后遍历容器(链表),就可以实现在Reduce中多次遍历。
上代码:

Reducer<Text, Text, Text, IntWritable> {
        public void reduce(Text key, Iterable<Text> values,

        Context context) throws IOException, InterruptedException {
           String  ss=key.toString();
            if("score".equals(ss))
            {
            int sum = 0;
            int count = 0;
            int min    =    150   ;  
            int max    =    0   ;
            int score  =    0   ;
            String name1 =   " ";
            String name2 =   " ";
            List<String> cache =new ArrayList<String>();

            for (Text val : values) {
                cache.add(val.toString());
                String[] valTokens = val.toString().split(SPACE);
                score = Integer.parseInt(valTokens[1]);
                if (score > max) {

                     max  = score;
                }
                if (score < min)
                {
                    min   =score;
                }
                sum+=score;
                count++;
            }

新定义一个链表–cache,在第一次对values迭代的时候,把每个元素添加到List中,这样若想再遍历整个values,就可遍历List实现。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值