Uncaught RangeError: Maximum call stack size exceeded

今天早上老大和我说之前项目里面的那个数据要改动,要对mongodb中每条记录进行update操作,你写个脚本跑一下吧。

然后,我默默的回到电脑前,努力工作的一天又开始了。由于此表数据量有点略大,该有一千多万条记录。所以考虑使用mongodb的 cursor 游标来进行遍历修改。
程序实现的代码大致如下

function modify(cursor) {
    cursor.hasNext(function(err,bool) {
        if(err) {
            return console.log(err); 
        }  

        if(bool) {
            cursor.next(function(err, item){
                if(err) {
                    return console.log(err);
                }
                /* 此处为对数据进行update操作 */
                // 递归调用modify方法 
                return modify(cursor);
            });  
        }else{
           console.log('finished');
        }
    })
}

var cursor = collection.find();
modify(cursor);

然后让它慢慢跑吧,可是一个令我郁闷的事情发生了。当游标跑到接近500万的时候,程序崩了,提示Uncaught RangeError: Maximum call stack size exceeded
竟然告诉我爆栈了,什么情况? 哎,排查代码,开始填坑。发现我上面递归调用了modify() ,而且递归次数有点小多(1000多万条记录的表啊),可能是函数不断的递归调用导致它的调用栈不断的增加,然后越来越大,最终就没有然后了,爆栈了。看来得给个机会让node进行垃圾回收一下,要想让它有机会垃圾回收那就只得终结一下递归啊。使用系统的setTimeout();来跳出递归调用栈吧。
代码修改如下

function modify(cursor) {  
    cursor.hasNext(function(err,bool) {
        if(err) {
            return console.log(err); 
        }

        if(bool) {            
            cursor.next(function(err, item){
                if(err) {
                      return console.log(err);
                }
                /* 此处对数据进行update操作 */
                // 递归调用modify方法 
                return setTimeout(function(){ 
                           //跳出递归调用栈
                           modify(cursor);
                       },0);
            });  
        }else{
           console.log('finished');
        }

    })
}

var cursor = collection.find();
modify(cursor);

在跑一下试试。。。。ok,好使了。但是运行有点慢啊,因为我每次都让它跳出递归调用栈了。这样虽然没问题但是没必要,因为400多万才会出现爆栈呢。加个计数器吧,等调用栈有点大的时候在跳出来。

var count = 0;
function modify(cursor) {  
    count++;
    cursor.hasNext(function(err,bool) {
        if(err) {
            return console.log(err); 
        }

        if(bool) {
            cursor.next(function(err, item){
                if(err) {
                  return console.log(err);
                }

                /* 此处对数据进行update操作 */
                // 递归调用modify方法 
                if(count%10000 === 0) {
                    return setTimeout(function(){ 
                           //跳出递归调用栈
                           modify(cursor);
                           },0);
                }else{
                    return modify(cursor);
                }        
            });  
        }else{
           console.log('finished');
        }

    })
}

var cursor = collection.find();
modify(cursor);

妥了,又快又稳地运行着。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值