循环里面嵌套一个异步请求,所有循环执行完毕后再返回请求的数据

场景介绍:

使用es6实现爬虫,先遍历完列表,然后循环列表的根据url去查询每篇文章的详细内容,最后将所有爬取完的数据写入数据库(只写一次,避免数据库频繁的打开的关闭,影响性能)。

原始实现方式和痛点分析:

var list =["url1","url2","url3",.....];

for(let i = 0;i< list.length;i++){

  $.ajax(list[i],function(data){

       console.log("success");

        //data是执行成功后获取到的url1对应的文章详细内容

       //第一次查询完成后就必须把该数据写到数据库中,这样太影响性能

       dataBase.writeDB(data);

 },"json")

}

思考:

能否在for循环完成后将所有文章的详细内容返回,然后统一写进数据库?

实现一个公共类:

iteratorArr: function(arr, promiseCallback) {
        var it = arr[Symbol.iterator]();
        var list = [];

        return x(it.next());

        function x(item) {
            if (item.done) {
               

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值