python pyppeteer简易快速爬取网页数据

1、如何快速爬取网页的数据，在任何情况下都可以使用我们模拟的谷歌无头浏览器只需要两步就可以进行网页数据爬取

2、下载谷歌无头浏览器通过docker快速部署

docker run -itd --name browserless -p 3000:3000 browserless/chrome

3、编写python代码，运行当前代码会获取百度页面的内容，通过pyppeteer api你可以获取当前网页的数据，爬取你想要的信息、pyppeteer 可以去官方查看api功能十分强大，可以模拟点击、跳转、登录登操作，完全模拟用户的操作行为，进行数据爬取。

import asyncio
from pyppeteer import connect

async def main():
    # 连接到容器内的无头浏览器
    browser = await connect(browserWSEndpoint='ws://localhost:3000')

    # 打开一个新页面
    page = await browser.newPage()

    # 导航到目标网页
    await page.goto('https://www.baidu.com/')

    # 获取页面的完整 HTML 内容
    page_content = await page.content()

    # 打印页面内容
    print(page_content)

    # 关闭浏览器连接
    await browser.disconnect()

asyncio.get_event_loop().run_until_complete(main())