reduce中Iterator的循环陷阱

1.iterator遍历共用一个对象为什么要这样设置:大数据处理的数据往往是海量,每次循环遍历new对象,可能会导致jvm的内存被压爆。问题重现:reduce的Iterable迭代器中的内容是a,b,c这三条,然后把这三条数据加入到List中然后遍历List的时候发现显示的结果是c,c,cpublic class MyReducer extends Reducer<LongWri...
摘要由CSDN通过智能技术生成

1.iterator遍历共用一个对象

  • 为什么要这样设置:大数据处理的数据往往是海量,每次循环遍历都new对象,导致大量的性能被消耗。在这种海量数据处理的场景下,性能优化是非常重要的。
  • 问题重现:
reduce的Iterable迭代器中的内容是a,b,c这三条,然后把这三条数据加入到List中然后遍历List的时候发现显示的结果是c,c,c
public class MyReducer extends Reducer<LongWritable, Text,LongWritable,Text> {
   
	
	ArrayList<Strnig> str = new ArrayList<Strnig>();
	
    @Override
    protected void reduce(LongWritable key, Iterable<String> values, Context context) {
   
        for (String value : values) 
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值