nodeJs爬虫异步js问题解决

最新推荐文章于 2024-04-04 10:05:57 发布

「已注销」

最新推荐文章于 2024-04-04 10:05:57 发布

阅读量296

点赞数

文章标签： javascript 爬虫开发语言 electron

本文链接：https://blog.csdn.net/ljq869115191/article/details/130548034

版权

文章介绍了如何利用Electron框架加载网页，待页面的DOM准备完毕后，通过webContents执行JavaScript获取innerHTML，从而处理由JavaScript动态生成的DOM内容。之后，可以使用Cheerio对获取的HTML进行解析以提取所需数据，最后将HTML保存到文件中。

摘要由CSDN通过智能技术生成

html页面解析

使用 cheerio 对 html页面进行解析获取数据

在爬取某网页过程中翻页dom是由js动态生成出来的所以引出以下解决方案

使用 electron 框架来加载网页在加载成功后获取html代码再解析。

简略代码

const {app, BrowserWindow} = require("electron");
const fs = require("fs");

function createWindow() {
    let win = new BrowserWindow({
        width: 800,
        height: 600
    });

    win.loadURL('https://www.baidu.com/home');

    let webContents = win.webContents;
    webContents.on('did-finish-load', () => {
    });
    webContents.on('dom-ready', () => {
        //执行js代码 让页面返回 html下的DOM元素
        webContents.executeJavaScript('document.documentElement.innerHTML', true)
            .then((html: string) => {
                //将dom元素保存下来  数据爬取的话 从这里获取的html就是已经执行过js的页面了
                fs.writeFile('index.html', `<!DOCTYPE html><html lang="utf8">${html}</html>`, (err: any) => {
                    if (err) {
                        console.log(err);
                    }
                });
            })
    });
}

app.whenReady()
    .then(() => {
        createWindow();
    });

app.on('window-all-closed', () => {
    if (process.platform !== 'darwin') app.quit()
});

app.on('activate', () => {
    if (BrowserWindow.getAllWindows().length === 0) createWindow()
})

总结

直接使用 electron 当做浏览器让页面进行 js 异步执行然后获取dom 在进行数据解析

「已注销」

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
nodeJs爬虫异步js问题解决

直接使用 electron 当做浏览器让页面进行 js 异步执行然后获取dom 在进行数据解析。使用 electron 框架来加载网页在加载成功后获取html代码再解析。在爬取某网页过程中翻页dom是由js动态生成出来的所以引出以下解决方案。使用 cheerio 对 html页面进行解析获取数据。
复制链接

扫一扫