node爬取网站图片

  1. 依赖于fs、https、cheerio模块,cheerio模块需要npm install cheerio --save安装
  2. 核心代码(创建copy.js,将一下代码复制粘贴即可)
const fs = require('fs')
const http = require('https')
const cheerio = require("cheerio");  
const url = 'https://movie.douban.com/'
http.get(url, function(res) {
    var html = ''
    var resuts = []
    res.on('data', function(data) {
        html += data
    })
    res.on('end', function(data) {
        console.log('结束了============')
        var $=cheerio.load(html)
        $("img").each(function(index, item) {
            var src = $(item).attr('src')
            // src.indexOf(url) === -1 && (src = url + src)
            resuts.push(src)
        })
        console.log('共搜索到'+resuts.length+'图片');
        console.log('清空image文件下的图片')
        emptyImage('./images')
        console.log('开始下载保存图片...')
        for(var i=0;i<resuts.length;i++){
            console.log('当前下载保存图片的网络链接:'+resuts[i])
            saveImage(resuts[i]);
        }
    })
}).on('error',function(){
    console.log('资源读取出错')
})
// 清空image文件下
function emptyImage(fileUrl) {
    if (!fs.existsSync(fileUrl)) {
        return
    }
    var files = fs.readdirSync(fileUrl)
    files.forEach(function(file) {
        fs.unlinkSync(fileUrl+'/'+file)
    })
    console.log('已清空image文件下的图片')
}
// 下载保存于image文件下
function saveImage(resuts) {
    http.get(resuts,function(res){
        res.setEncoding('binary');//二进制
        var imageData="";//将图片加载到内存中
        res.on("data",function(a){
            imageData+=a; 
        }).on("end",function(){
            //创建文件夹,如果有就不用创建
            if(!fs.existsSync('./images')){
                fs.mkdirSync('./images');
            };
            //保存图片
             fs.writeFile("images/"+Math.random()+".png",imageData,"binary",function(err){
                if(!err)
                console.log("保存成功");
        });
        
        });
    });
}
  1. 运行(node copy.js)
  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值