Node.js爬取百度图片之解析objURL外加随手写个瀑布流

最新推荐文章于 2023-12-03 23:25:06 发布

samfung09

最新推荐文章于 2023-12-03 23:25:06 发布

阅读量1.5k

点赞数

分类专栏： node.js 爬虫文章标签： Node.js爬虫爬取百度图片 objURL 瀑布流

本文链接：https://blog.csdn.net/samfung09/article/details/102557812

版权

本文详细介绍了使用Node.js爬取百度图片的过程，包括分析请求地址、解码objURL获取原图地址，并展示了如何实现一个简单的瀑布流布局。在窗口加载时进行初次布局，并在滚动及窗口大小变化时动态调整布局。

摘要由CSDN通过智能技术生成

分析请求地址

先来分析一下请求地址，我搜索的是“古力娜扎”

https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%8F%A4%E5%8A%9B%E5%A8%9C%E6%89%8E&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=9&ic=&hd=&latest=©right=&word=%E5%8F%A4%E5%8A%9B%E5%A8%9C%E6%89%8E&s=&se=&tab=&width=0&height=0&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn=0&rn=30&gsm=&1571040360801=

queryWord：表示要查询的关键字

word：也表示要查询的关键字

hd：表示高清

pn：表示第几页，首页为0

rn：表示每页显示的图片数量

随便自定义

二话不说，开爬

const https = require('https');

let options = {
    hostname: 'image.baidu.com',
    path: '/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%8F%A4%E5%8A%9B%E5%A8%9C%E6%89%8E&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=9&ic=&hd=&latest=&copyright=&word=%E5%8F%A4%E5%8A%9B%E5%A8%9C%E6%89%8E&s=&se=&tab=&width=0&height=0&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn=0&rn=30&gsm=&1571040360801=',
    headers: {  //伪装身份
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36",
        "Referer": "https://image.baidu.com/"
    }    
}

let req = https.request(options, res => {
    let chucks = [];
    res.on('data', chuck => {
        chucks.push(chuck);
    })
    res.on('end', () => {
        let result = Buffer.concat(chucks).toString();
        console.log(JSON.parse(result));  //看看拿到的数据，分析一通
    })
})

req.on('error', err => {
    console.log(err);
})
req.end();

拿到的每一条数据大概长这样