使用node爬取页面图片并保存到本地 (以获取码农网站首页图片为例)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_38033086/article/details/82225507
  1. 安装node 
  2. 创建文件夹   mkdir  firstSpider 
  3. cmd 进入创建的文件夹 cd firstSpider   
  4.  npm init (初始化工程)  工程的一些基本信息
  5. 安装第三方包    注:http模块、fs模块都是内置的包不需要再安装     需要安装的包有request(发请求),cheerio(相当于jquery)
  6. 新建firstSpider.js   新建image(存放下载的图片 )
    var request=require("request");
    var http = require('http')
    var cheerio=require("cheerio");
    var fs = require('fs')
    request('http://www.codeceo.com/',function(error,response,body){
    	$=cheerio.load(body);  
    	$(".home.blog img").each(function(i,v){   //获取body下所有的图片路径
    		saveImage($(this).attr("src"),"image/"+i+".png")
    	})
    })
    
    //保存图片
    function saveImage(url,path) {
        http.get(url,function (req,res) {
            var imgData = '';
            req.on('data',function (chunk) {
                imgData += chunk;
            })
    		req.setEncoding('binary');
            req.on('end',function () {
                fs.writeFile(path,imgData,'binary',function (err) {
                    console.log('保存图片成功'+path)
                })
            })
        })
    }

     

  7. 启动   node firstSpider.js

  8. 啦啦啦啦啦   图片下载成功了

展开阅读全文

没有更多推荐了,返回首页