python pyppeteer使用笔记

最新推荐文章于 2024-06-24 22:41:37 发布
最新推荐文章于 2024-06-24 22:41:37 发布
阅读量3.5k 收藏 3
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_38682860/article/details/89977048
版权
本文介绍了Python库pyppeteer的使用，包括打开网页、截图、设置viewport、管理cookie、选择器操作、注入JS代码以及处理浏览器卡死问题等实战经验，特别强调了在处理浏览器事件和防止进程卡死的技巧。
摘要由CSDN通过智能技术生成

pyppeteer -- python版本的puppeteer，一个强大的chronium headless浏览器API

最近搞天猫用了一波儿，记录一下。

先上文档: https://miyakogi.github.io/pyppeteer/

举个最简单的例子入门一下：

比如打开百度，然后截图

 

下面说一些小技巧：

1、启动参数

 

注意：同一个用户目录（userDataDir）不能被两个chrome进程使用，如果你要多开，记得分别指定用户目录。否则会报编码错误。

2、设置viewport

自动获取当前屏幕大小并设置viewport

 

最低0.47元/天 解锁文章
Python 学习者
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python pyppeteer 保存 cookies 和 上网数据 userDataDir=‘./userdata‘
weixin_55399173的博客
11-12 893
import pyppeteer import asyncio async def main(): browser = await pyppeteer.launch(headless=False, userDataDir='./userdata',args=['--disable-infobars']) page = await browser.newPage() await page.setViewport({'width': 1366, 'height': 768})
【Python】pyppeteer
luolinll1212的专栏
03-12 211
https://blog.csdn.net/freeking101/article/details/93331204
Pyppeteer原理介绍和入门尝试
最新发布
06-24 1059
1.Chrome 浏览器和 Chromium 浏览器在 Pyppetter 中，实际上它背后也是有一个类似 Chrome 浏览器的 Chromium 浏览器在执行一些动作进行网页渲染，首先说下 Chrome 浏览器和 Chromium 浏览器的渊源。Chromium 是谷歌为了研发 Chrome 而启动的项目，是完全开源的。
Python 爬虫——Pyppeteer
Phantom_Blu_Ray的博客
04-01 1898
Pyppeteer相比于Selenium最大的优势是可以实现无头浏览器，它可以在不开启浏览器页面的情况下模拟浏览器进行请求的发送和接收，并且支持原生的Javascript，可以实现更多样化的页面操作。模拟用户的方式可以很好的解决直接请求的难题，一般来说获取到的页面数据都是完全渲染之后的结果，可以看到的数据都可以进行内容提取（若页面加载不完全，也可以使用某些方式使得页面完全加载）
Python爬虫之pyppeteer的使用
热门推荐
Ghjkku的博客
01-02 4万+
背景: 在使用selenium抓取数据时，在访问显示如下，解决了后续发现网站会对selenium和webdriver进行识别，网站不给你执行js，于是尝试更换pyppeteer来尝试，避开webdriver检测 Chrome “您的连接不是私密连接的方法” 解决办法 添加 --test-type --ignore-certificate-errors --disable-web-security --user-data-dir 以下正文-----------------------------.
python使用pyppeteer详细教程
Pylemon Blog
04-05 1万+
文章目录介绍环境部署pip installchromium下载快速使用应用技巧启动参数优化常用的参数其他参数示例窗口/可视区最大化隐藏浏览器特征拦截请求 介绍 注意，讲解的模块叫做 Pyppeteer，不是 Puppeteer。 Puppeteer 是 Google 基于 Node.js 开发的一个工具，有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作，当然也可以用...
python爬虫-mast笔记
05-31
10. **进阶话题**：动态加载页面的处理（如Selenium、Pyppeteer），分布式爬虫（如Scrapy-Redis），以及使用Python的异步IO（如asyncio和aiohttp）提升爬取效率。 以上就是Python爬虫的一些核心知识点，通过学习和...
python 瀑布流爬虫 授课笔记.docx
04-10
这可能涉及到分析JS源码、使用浏览器插件（如Selenium）或使用专门解析JS的库（如`pyppeteer`或` splash`）。在爬取过程中，要注意处理反爬策略，如设置合适的延时以避免频繁请求导致IP被封禁，以及处理可能出现的...
网易云课堂的python网络爬虫实战笔记与代码实现
07-16
此外，动态加载的网页可能需要使用Selenium、Scrapy或Pyppeteer等工具来模拟浏览器行为，抓取JavaScript渲染后的数据。 对于新浪网的爬虫实战，你可能会学习到以下具体知识点： 1. 使用requests库发送GET请求，...
pyppeteer_hub:将asyncio服务器包装在pyppeteer周围，并允许使用多个浏览器和选项卡进行页面呈现，从而实现高吞吐量的页面呈现
05-08
该项目旨在为Puppeteer（pyppeteer）的Python端口提供包装。 该服务器提供许多用于呈现的端点，以及提供用于交互和使用一致会话的端点。 服务器可以管理具有多个选项卡的多个浏览器，从而允许（理论上）高请求吞吐量...
day1_courtm3w_python爬虫_
09-30
6. **网页动态加载的处理**：如果遇到JavaScript渲染的页面，可能需要学习如何使用`Selenium`或`Pyppeteer`来模拟浏览器行为。 7. **爬虫框架**：如`Scrapy`的使用，包括项目结构、中间件、爬虫类、调度器等组件的...
详解pyppeteer(python版puppeteer)基本使用
09-19
主要介绍了详解pyppeteer(python版puppeteer)基本使用 ，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python实现多并发访问网站功能示例
09-21
主要介绍了Python实现多并发访问网站功能,结合具体实例形式分析了Python线程结合URL模块并发访问网站的相关操作技巧,需要的朋友可以参考下
python3安装 pyppeteer
qq_41362018的博客
08-14 3117
python3环境下安装 pyppeteer，用于天猫淘宝数据采集 自主学习记录，如有侵权，请联系本人删除 在测试采集淘宝，天猫平台数据时，登录受到限制，使用pyppeteer可以模拟登录，但是安装pyppeteer时 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了
[原创] Demo: Python crawler use chrome headless - pyppeteer
张志鹏的博客
11-29 3451
python crawler use chrome headless. Only support python version 3.5+. Download Chrome or Chromium Download pyppeteer $ python3 -m pip install pyppeteer Demo import asyncio from pyppeteer.launcher impor
使用python的pyppeteer模块实现淘宝登录
python学习者的博客
03-20 3232
使用pyppeteer淘宝登录，获取Cookies 现在淘宝的商品搜索页必须要登录才能见，所以必须要cookies才能进行下一步操作。本期介绍如何使用pyppeteer登录淘宝，获取Cookies。 pyppeteer介绍 地址：https://github.com/miyakogi/pyppeteer 介绍：Unofficial Python port ofpuppeteerJa...
Python中与selenium齐名的pyppeteer库【必看】
公众号：【伤心的辣条】
09-23 1550
如果说在Python中还有一款自动化工具能和selenium媲美，那么无疑是pyppeteer，pyppeteer是puppeteer的Python版本，puppeteer是Google开源的一个js库，通过一系列高级接口和Chrome或Chromium在DevTools协议下交互，其实现功能如下： 生成页面的截图和PDF。 抓取SPA(单页应用程序)并渲染页面 自动提交表单，UI测试，键盘输入等。 创建一个最新的自动化测试环境，使用最新的JavaScript和浏览器特性，在最新版本的Chrome中直接运
Python中与selenium齐名的pyppeteer库
python之战
04-24 4617
如果说在Python中还有一款自动化工具能和selenium媲美，那么无疑是pyppeteer，pyppeteer是puppeteer的Python版本，puppeteer是Google开源的一个js库，通过一系列高级接口和Chrome或Chromium在DevTools协议下交互，其实现功能如下： 生成页面的截图和PDF。 抓取SPA(单页应用程序)并渲染页面 自动提交表单，UI测试，键盘...
python爬虫神器Pyppeteer入门及使用
python基础学习教程
02-18 6948
这篇文章主要介绍了python爬虫神器Pyppeteer入门及使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 前言 提起selenium想必大家都不陌生，作为一款知名的Web自动化测试框架，selenium支持多款主流浏览器，提供了功能丰富的API接口，经常被我们用作爬虫工具来使用。但是selenium的缺点也很明显，比如速度太慢、对版本配置...
python pyppeteer 爬虫
09-01
您好！对于使用pyppeteer进行爬虫的问题，我可以给您一些基本信息和指导。 Pyppeteer是一个用于控制Headless Chrome浏览器的Python库，它基于Google的pychrome项目。它允许您使用Python代码自动化与网页进行交互，模拟用户操作，执行JavaScript代码，并提取所需的数据。 以下是使用pyppeteer进行爬虫的基本流程： 1. 安装依赖：使用pip安装pyppeteer库和其他必要的依赖项。 ``` pip install pyppeteer ``` 2. 创建和配置浏览器实例：使用pyppeteer.launch()方法创建一个浏览器实例，并使用一些选项配置它。 ```python import asyncio from pyppeteer import launch async def main(): browser = await launch() page = await browser.newPage() await page.goto('https://example.com') # 执行其他操作... asyncio.get_event_loop().run_until_complete(main()) ``` 3. 进行交互和数据提取：使用page对象与网页进行交互，例如点击按钮、填写表单、执行JavaScript等。您可以使用page.evaluate()方法来获取网页上的数据。 ```python import asyncio from pyppeteer import launch async def main(): browser = await launch() page = await browser.newPage() await page.goto('https://example.com') title = await page.evaluate('document.title') print(title) # 执行其他操作... asyncio.get_event_loop().run_until_complete(main()) ``` 4. 关闭浏览器实例：使用browser.close()方法关闭浏览器实例，释放资源。 ```python import asyncio from pyppeteer import launch async def main(): browser = await launch() page = await browser.newPage() await page.goto('https://example.com') # 执行其他操作... await browser.close() asyncio.get_event_loop().run_until_complete(main()) ``` 这只是一个基本示例，您可以根据您的具体需求进一步探索和使用pyppeteer。如果您需要更多的帮助或有其他问题，请随时提问！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值