使用Puppeteer爬取图片

使用Puppeteer爬取图片

1. 使用的包

const puppeteer = require('puppeteer');
const request = require("request");
const fs = require('fs');

2. 操作浏览器

var scrape = async () => {
    // 初始化无头浏览器
    const browser = await puppeteer.launch({
        headless: false,
        defaultViewport: {
            width: 1200,
            height: 1000
        }
    });
    // 新建页面
    const page = await browser.newPage();
    //搜索关键字
    let word = '壁纸'
    // 跳转到指定页面
    await page.goto('https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=index&fr=&hs=0&xthttps=111110&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=' + word);
    await page.evaluate(function () {
    	//该页面使用懒加载，滑动屏幕让图片加载
        window.scrollTo(0,1000)
        setTimeout(()=>{window.scrollTo(0,2000)},1000)
    })
    await page.waitForTimeout(3000)
    // 获取节点
    const data = await page.evaluate( ()=> {
    	//拿到图片节点
        let dom = document.querySelectorAll('#imgid img')
        let arr = []
        for(let i=0;i<dom.length-1;i++){
            //去除base64格式
            if(!dom[i].src.includes('base64'))
            arr.push(dom[i].src) 
        }
        //返回图片链接
        return arr
    })
    //关闭浏览器
    browser.close()
    return data
}

3. 保存图片

scrape().then((value) => {
    for(let i = 1; i < value.length-1; i++) {
        let imgUrl = value[i];
        let filename = `${new Date().getTime()}imgage${i}.png`;
        //在C盘下创建文件夹
        fs.mkdir('C:/temp',(e)=>{
            if(!e || (e&&e).code === 'EEXIST'){
                if(imgUrl)
                //保存在这个目录下
                request(imgUrl).pipe(fs.createWriteStream("C:/temp/" + filename));
                else
                console.log('地址为空')
            }
            else{
                console.log('err')
            }
        })
    }
});