nodejs使用Puppeteer简单实现爬虫

最新推荐文章于 2024-08-09 16:21:20 发布

置顶

洪小旺铺

最新推荐文章于 2024-08-09 16:21:20 发布

阅读量4.5k

点赞数 2

分类专栏： NodeJs 文章标签：爬虫 nodejs

本文链接：https://blog.csdn.net/qq_24564445/article/details/110632347

版权

nodejs使用Puppeteer简单实现爬虫

1、puppeteer介绍

描述：puppeteer是内置了chrome内核的一个nodejs的爬虫包，基于webdriver，可实现仿人操作界面，例如页面滚动、按钮点击、导航跳转等具体功能。
安装：
1. 全局安装：npm -g install puppeteer
2. 当前项目安装：npm -S install puppeteer
puppeteer-api puppeteer的相关api操作，可参考文档

2、node简单实现

代码演示：

const puppeteerTest = async () => {
   
    const user_agent = "--user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36"
    const options = {
   
    	//当为true时，客户端不会打开，使用无头模式；为false时，可打开浏览器界面
        headless: false, 
        args: ['--no-sandbox', user_agent] 
    };
    const puppeteer = require('puppeteer');
    const browser = await puppeteer.launch(options);
    const page = await browser.newPage()
    await page.se