爬虫技术(puppeteer)

最新推荐文章于 2024-07-19 21:30:00 发布

小马nong

最新推荐文章于 2024-07-19 21:30:00 发布

阅读量685

点赞数

文章标签： js

本文链接：https://blog.csdn.net/nengsong111/article/details/119530641

版权

这篇博客介绍了如何利用Puppeteer进行爬虫技术。首先，需要在项目中初始化并安装Puppeteer-Core和chrome-finder插件，确保已安装谷歌浏览器。为了便捷，可以借助nodemon工具启动JS脚本，实现文件变动后自动重启。

摘要由CSDN通过智能技术生成

安装(前提安装谷歌浏览器)

1. 创建一个项目目录，初始化，命令：npm init 一路回车

2.安装 npm i puppeteer-core

3.为了方便安装一个插件npm i chrome-finder

//node 执行js命令：node 文件名
//如果想保存后直接重新允许，用nodemon启动js
//nodemo安装命令：npm i nodemon -g
//启动命令：nodemon 文件名

const pptr=require('puppeteer-core');
const findChrome =require('chrome-finder');
const chromePath=findChrome();//用chrome-finder，浏览器查找谷歌浏览器exe文件位置

const main=async()=>{
    //启动浏览器
    const browser = await pptr.launch({
        headless:false, //无头模式(后台运行模式)，默认为true，为true时不显示浏览器
        executablePath:chromePath, //谷歌浏览器exe文件的路径
        defaultViewport:{           //设置页面可视区域的大小
            width:1920,
            height:1080
        } 
    });

    //打开新页面
    const page=await browser.newPage(); 

    //跳转到页面
    await page.goto('https://www.baidu.com/');

    //得到