pyppeteer报错解决和相关问题解决

最新推荐文章于 2024-04-26 17:45:29 发布

Nick_Spider

最新推荐文章于 2024-04-26 17:45:29 发布

阅读量2.8w

点赞数 6

分类专栏：爬虫文章标签： puppeteer pyppeteer python

本文链接：https://blog.csdn.net/weixin_39198406/article/details/86719814

版权

本文详细记录了在使用pyppeteer进行网页抓取时遇到的三个主要问题及解决方法：包括'页面已关闭'的错误、libX11-xcb.so.1共享库加载失败和ModuleNotFoundError: No module named 'apt_pkg'。同时，提供了在Ubuntu16.04环境下安装Python3.6的步骤参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 报错1：Most likely the page has been closed

pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

使用pyppeteer采集京东的时候,总数到7~8页的时候就报错.
谷歌发现了这样的解决方案:

https://github.com/miyakogi/pyppeteer/issues/178
https://github.com/miyakogi/pyppeteer/pull/160/files

照着修改了一下源码,就解决了这个问题,在此记录一下.

2. 报错2：error while loading shared libraries: libX11-xcb.so.1

在ubuntu16.04上，使用python3.6运行pyppeteer的demo：

import asyncio
from pyppeteer import launch

async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('http://example.com')
    await page.screenshot({'path': 'e