如何用pyppeteer获取数据，模拟登陆？

最新推荐文章于 2024-07-27 20:12:28 发布

Python资深程序员

最新推荐文章于 2024-07-27 20:12:28 发布

阅读量630

点赞数

分类专栏： Python 文章标签： Python

本文链接：https://blog.csdn.net/Pythoncxy/article/details/98059883

版权

本文介绍了如何使用Python库pyppeteer进行网页数据抓取和模拟登录。首先，讲解了安装pyppeteer的步骤，接着通过一个简单的爬虫示例介绍pyppeteer的基础用法。然后，阐述了通过分析网页接口请求获取结构化数据的方法，并给出实例。最后，展示了如何利用pyppeteer进行无头浏览器的模拟登录，以印象笔记为例，提供了相应的Python代码。

摘要由CSDN通过智能技术生成

本指南适合0基础的读者一步步练习，从而上手python，有基础的可以快速浏览，了解整个思路即可。

Python资源共享群：484031800

安装环境

本指南使用的是python开发环境，先用pip安装 pyppeteer库

python3 -m pip install pyppeteer

详细可以参考官方github：

https://github.com/miyakogi/pyppeteer

hello world！

初次与pyppeteer见面，我们运行下最简单的爬虫代码：

#引用相关的库
import asyncio
from pyppeteer import launch
async def main():
    browser = await launch()
    page = await browser.newPage()
    #想爬取哪个页面，修改对应的url即可，
    #注意timeout的设置，因为有时候网速比较慢，可以把超时的时间设得久一点。
    await page.goto('https://getgetai.com',{"timeout":3*60000})
    #screenshot是截屏的命令，path设置截屏后的图片保存路径跟名称
    #await page.screenshot({'path': 'example.png'})
    #evaluate是注入js到url的页面里，需要具备js的相关知识
    result