pyppeteer报错解决和相关问题解决

最新推荐文章于 2024-05-28 09:41:40 发布
最新推荐文章于 2024-05-28 09:41:40 发布
阅读量2.8w 收藏 15
点赞数 6
分类专栏： 爬虫 文章标签： puppeteer pyppeteer python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39198406/article/details/86719814
版权
本文详细记录了在使用pyppeteer进行网页抓取时遇到的三个主要问题及解决方法：包括'页面已关闭'的错误、libX11-xcb.so.1共享库加载失败和ModuleNotFoundError: No module named 'apt_pkg'。同时，提供了在Ubuntu16.04环境下安装Python3.6的步骤参考。
摘要由CSDN通过智能技术生成

1. 报错1：Most likely the page has been closed

pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

使用pyppeteer采集京东的时候,总数到7~8页的时候就报错.
谷歌发现了这样的解决方案:

https://github.com/miyakogi/pyppeteer/issues/178
https://github.com/miyakogi/pyppeteer/pull/160/files

照着修改了一下源码,就解决了这个问题,在此记录一下.

2. 报错2：error while loading shared libraries: libX11-xcb.so.1

在ubuntu16.04上，使用python3.6运行pyppeteer的demo：

import asyncio
from pyppeteer import launch

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('http://example.com')
    await page.screenshot({'path': 'e
最低0.47元/天 解锁文章
Nick_Spider
关注
  • 6
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
pyppeteer.errors.NetworkError: Protocol Error (Page.navigate): Session closed. Most likely the page
0x8g1T9E-
04-07 8664
def _patch_pyppeteer(): from typing import Any from pyppeteer import connection, launcher import websockets.client class PatchedConnection(connection.Connection): # type: ignore ...
Pyppeteer bug总结
Songsong
06-24 2452
bug1 NetworkError: Protocol error Runtime.callFunctionOn: Target closed. 解决方法: 1.找到并打开Pyppeteer的源码里的connection.py这个文件，看报错信息就能找到。 2.把下面图片中，红色减号的那条注释掉，新添加绿色加号那条的代码。 实测解决。。。 官网摆起了：https://zhaoqize.github.io/puppeteer-api-zh_CN/#?product=Puppetee...
Python爬虫之puppeteer之遇到的bug及解决方法
墨痕诉清风的博客
09-07 6719
本来chrome就问题多多，puppeteer也是各种坑，加上pyppeteer是前两者的python版本，也就是产生了只要前两个有一个有bug，那么pyppeteer就会原封不动的继承下来，本来这没什么，但是现在遇到的问题就是pyppeteer这个项目从18年9月份之后就没更新过了，前两者都在不断的更新迭代，而pyppeteer一直不更新，导致很多bug根本没人修复。，我的这个文件夹属性是16G，真的给我吓到了，其中Administrator有个人电脑不是这个用户名，是自己设定的，需要自己替换一下。
推荐：pyppeteer-stealth - Python版的隐形 Puppeteer 工具
最新发布
gitblog_00062的博客
05-28 1092
推荐：pyppeteer-stealth - Python版的隐形 Puppeteer 工具 项目地址:https://gitcode.com/MeiK2333/pyppeteer_stealth 在Web自动化和爬虫领域，Puppeteer已经成为JavaScript的世界里的明星工具，而Python社区的Pyppeteer则以其出色的兼容性和易用性受到了广大开发者的喜爱。今天，我们要向您推荐一...
pyppeteer网络协议问题
JJ_BoY的博客
12-31 1227
遇到这种错误：pyppeteer.errors.NetworkError: Protocol error Network.getCookies: Target close 方法： 卸载websockets 7.0 安装6.0版本就行了。 pip uninstall websockets #卸载websockets pip install websockets==6.0 #指定安装6.0版本 亲测成...
Pypputeer自动化
指针先生
01-18 886
pyppeteer是 Python 语言的一个库，它是对 Puppeteer 的一个非官方端口，Puppeteer 是一个 Node 库，Puppeteer是Google基于Node.js开发的一个工具，它提供了一种高层次的 API 来通过 DevTools 协议控制 Chrome 或 Chromium。pyppeteer可以用来进行网页自动化处理，支持页面抓取、表单提交、UI测试、JavaScript执行等功能，非常适合用于网页爬虫或自动化测试。
[pyppeteer]pyppeteer.errors.NetworkError: (Target.sendMessageToTarget): No session with given id
m0_73816861的博客
04-02 671
看网上对这个问题处理比较少，我是通过添加延时解决的，具体原理还未搞清楚。网上找的代码测试pyppeteer是否正常运行，运行后报错。
异步自动化工具pyppeteer的使用方法
Aaron_liu1的博客
07-14 1416
pyppeteer的介绍及安装 Puppeteer 是 Google 基于 Node.js 开发的一个工具，有了它我们可以通过 JavaScript 来控制 Chrome 浏览器的一些操作，当然也可以用作网络爬虫上，其 API 极其完善，功能非常强大。Pyppeteer 是 Puppeteer 的 Python 版本的实现，但他不是 Google 开发的，是一位来自于日本的工程师依据 Puppeteer 的一些功能开发出来的非官方版本。 安装：pip install pyppeteer 浏览器驱动自动会.
手动下载Chrome并解决puppeteer无法使用问题
01-01
因为网络原因，国内安装 puppeteer 的时候会报网络超时。这里使用 puppeteer-core 之后使用手动下载的 Chrome 进行操作。思路很简单，安装一个不带浏览器的 puppeteer ，再使用的时候将浏览器地址指向一个可执行的 ...
必知必会——selenuim_pyppeteer模拟登陆防检测破解(非js注入那种，js注入现在也不能有效解决，而本文能够帮助你有效解决这个问题)
09-08
对于使用模拟登陆等操作来...但是本文，提到的设置内容能够有效根治网上的一大堆无效的js注入教程，本文详细讲解，通过如何设置，来达到仿被检测的问题，一次阅读终生受益，再也不为使用模拟登陆被限制的问题而头疼。
浅谈JupyterNotebook导出pdf解决中文的问题
12-20
1.将ipynd编译成tex 建议将其放在桌面处理 ipython nbconvert —to latex pdf.ipynb 2.修改tex 双击打开转换的文件在\documentclass{article}后面插入 \usepackage{fontspec, xunicode, xltxtra} ...
详解pyppeteer(python版puppeteer)基本使用
09-19
主要介绍了详解pyppeteer(python版puppeteer)基本使用 ，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python爬虫神器Pyppeteer入门及使用
09-19
主要介绍了python爬虫神器Pyppeteer入门及使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
可配合pyppeteer防反爬干扰脚本完美
12-11
本文将深入探讨 `pyppeteer` 在防反爬干扰中的应用，并结合提供的 `exe_js.py` 脚本和可能的文本内容，解析如何利用这一工具进行高效且安全的网络爬取。 首先，我们需要了解 `pyppeteer` 的基本工作原理。`...
pyppeteer使用时常见的bug及解决办法
Mr.louis
10-18 7925
背景 最近时不时的会用到pyppeteer，一会儿是本地环境利用pyppeteer写个模拟浏览器的小脚本，一会儿是线上阿里云服务器上需要部署pyppeteer所写的脚本。中途遇到一些问题，最后都是通过goolge解决了。为了以后不再到处google，故写下此博客。 问题一 pyppeteer.errors.NetworkError: Protocol error Network.getCookie...
pyppeteer报错 Protocol error (Runtime.callFunctionOn): Cannot find context with specified id
weixin_44941663的博客
09-20 827
【代码】pyppeteer报错 Protocol error (Runtime.callFunctionOn): Cannot find context with specified id。
pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely
Sareyer的博客
06-04 1230
修改connection.py源码 self.connection: CDPSession self._connected = False self._ws = websockets.client.connect( self._url, max_size=None, loop=self._loop) # 将44行内容改为下面一行 self._url, max_size=None, loop=self._loop
pyppeteer出现Session closed. Most likely the page has been closed.异常记录
一直在路上的求知人。
03-12 2144
pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed. 在github上找到了解决方法，似乎只能改源码，找到pyppeteer包下的connection.py模块，在其43行和44行改为下面这样： se...
pyppeteer登录头条获取cookie爬坑。
wangliuqi123的博客
07-15 8553
首先需要需要pip 卸载websockets 安装指定版本的。 pip uninstall websockets #卸载websockets pip install websockets==6.0 #指定安装6.0版本 否则，你会在 waitForSelector 判断元素是否出现，而且页面上js跳转后的新页面，这个地方会出现上面的报错。 Runtime.callFunctionOn...
为什么下载了pyppeteer但是运行还是报错说没有pyppeteer
06-12
可能是你的 Python 环境中存在多个版本，或者你使用了虚拟环境。这时候你需要确认你的 pip 命令使用的是正确的 Python 环境。 你可以尝试以下几个解决方案： 1. 确认你的 Python 版本和 pip 版本。在命令行中输入以下命令： ``` python --version pip --version ``` 这样可以确认你使用的 Python 版本和 pip 版本是否一致。如果不一致，你需要切换到正确的 Python 环境中。 2. 确认你的 Pyppeteer 是否安装到了正确的 Python 环境中。在命令行中输入以下命令： ``` pip show pyppeteer ``` 这样可以确认 Pyppeteer 是否已经被正确安装。如果没有被正确安装，你需要重新安装 Pyppeteer。 3. 如果你使用的是虚拟环境，请首先激活虚拟环境，然后再执行 pip install 命令进行安装。在命令行中输入以下命令： ``` source /path/to/venv/bin/activate # 激活虚拟环境 pip install pyppeteer ``` 希望这些解决方案能对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值