node爬虫实现文件下载，访问网址

最新推荐文章于 2022-03-04 10:51:40 发布

旧单车

最新推荐文章于 2022-03-04 10:51:40 发布

阅读量2.6k

点赞数

分类专栏： node 文章标签： node 爬虫配置 node模块 csdn阅读量

本文链接：https://blog.csdn.net/weixin_43001280/article/details/101029830

版权

node爬虫实现文件下载，访问网址

试了下 Node写爬虫，访问速度好像比Java快好多。

同一目录下新建index.js和model.js

index.js

const model = require("./model"),
basicPath='https://blog.csdn.net/weixin_43001280';
const main = async url => {
  let list = [];
  const data = await model.getPage(url);
  list = model.getUrl(data);
  //运行时间：一小时
  const times=60*60;
  let runTime=1;
  goUrlByList(list);
  console.log('程序已经运行: '+runTime+' 次');
  let inter=setInterval(()=>{
    goUrlByList(list);
    runTime++;
    console.log('程序已经运行: '+runTime+' 次');
  },1000*69);
  setTimeout(()=>{
    clearInterval(inter);
    console.log('程序停止运行');
  },1000*times);
  //downLoadImages(list, index);//下载
};
const goUrlByList =(list)=>{
  for(let i=0;i<list.l