『004』会爬取微信文章的小爬虫ヾ(•ω•`)o

最新推荐文章于 2024-06-19 15:53:19 发布

飞速移动的代码菌

最新推荐文章于 2024-06-19 15:53:19 发布

阅读量10w+

点赞数 4

分类专栏：文章分享之路

本文链接：https://blog.csdn.net/q7238926z/article/details/90707204

版权

文章分享之路专栏收录该内容

17 篇文章 0 订阅

订阅专栏

前言

老板：微信公众号要精简，把之前发的文章都删掉吧！

Maxmon：好的~

Maxmon：（万一之后文章又需要了，要是直接删了多可惜，偷偷地做个备份吧）

准备工作

看了下公众号，有直接删除文章的按钮，但好像没有保存已发布文章的地方，那怎么做存储呢？

想来想去，就想到了爬虫~

开始代码

const axios = require('axios'); // 网络请求
const fs = require('fs'); // 文件存储
const cheerio = require('cheerio'); // 解析HTML文件

/**
 * 获取文章函数
 */
async function getArticle(articleUrl) {
    console.log('articleUrl', articleUrl)
    let a = await axios.get(articleUrl);
    let data = a.data;
    let $ = cheerio.load(data);
    let title = $('#activity-name').text().replace(/[\s—|]/g,''); // 获取 微信文章-标题
    let timeMatch = data.match(/var publish_time = "(.*?)\"/) // 获取 微信文章-发布时间
    let time = '0000-00-00';
    if (timeMatch) time = timeMatch[1] || time;
    let imgs = $('img')
    let fileName = `${time} ${title}`;
    // 判断本地是否已经抓过这个页面，抓取过就跳过
    if (fs.existsSync(`${fileName}.html`)) {
        console.log(fileName, '已抓取 跳过')
        return;
    }
    for (let i = 0; i < imgs.length; i++) {
        let attribs = imgs[i].attribs;
        let url = attribs['data-src'];
        if (url) {
            let imgType = attribs.type || 'jpeg';
            if (!fs.existsSync(fileName)) {
                fs.mkdirSync(fileName)
            }
            let locPath = `./${fileName}/${i}.${imgType}`
            await getImg(url, locPath);
            imgs[i].attribs.src = locPath;
        }
    }
    fs.writeFileSync(`${fileName}.html`, $.html());
}

/**
 * 获取图片等资源文件
 */
async function getImg(url, locPath) {
    let b =  await axios.get(url, {
        responseType: "arraybuffer",
    });
    fs.writeFileSync(locPath, Buffer.from(b.data, 'base64'));
}

getArticle('https://mp.weixin.qq.com/s/p4It1825oDJSBUZsSax1cA');