requests-html模块报错解决记录

最新推荐文章于 2022-07-24 20:39:38 发布
最新推荐文章于 2022-07-24 20:39:38 发布
阅读量2k 收藏 5
点赞数 2
分类专栏： Requests 文章标签： requests-html python pyppeteer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/winry2011/article/details/100751815
版权

使用requests-html的render方法出错

第一次使用Render方法时，会出现urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host=‘storage.googleapis.com’, port=443): Max retries exceeded with url: /chromium-browser-snapshots/Win/575458/chrome-win32.zip (Caused by SSLError(SSLError(“bad handshake: Error([(‘SSL routines’, ‘tls_process_server_certificate’, ‘certificate verify failed’)])”)))错误提示。

这是因为：调用render 方法启动pyppeteer，pyppeteer需要与浏览器（chromium）进行交互，第一次使用时pyppeteer没有绑定Chromium的话，会从新下载一个Chrome浏览器。

由于其指定的路径被墙，没有科学上网或者SS/SSR之类的，就会出现下载错误从而导致方法中断。

实际上，可以使用系统上原来装有的Chrome，在requests-html源代码
（如C:\Users\XXX\AppData\Local\Programs\Python\Python37-32\Lib\site-packages\requests_html.py）的
第714行：

原句：

self._browser =
最低0.47元/天 解锁文章
winry2011
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python requests请求失败重试_吐血总结，Python Requests库使用指南
weixin_32230811的博客
03-01 6957
让我们首先安装requests库。为此，请运行以下命令:pip install requests如果你喜欢使用 Pipenv 管理Python包，你可以运行下面的命令:pipenv install requests一旦安装了requests，你就可以在应用程序中使用它。像这样导入requests:import requests现在你已经都准备完成了，那么是时候开始使用requests的旅程了。你的...
解决使用requests_html模块,html.render()下载chromium报错、速度慢问题
weixin_30426957的博客
08-12 913
来源：https://www.cnblogs.com/xiaoaiyiwan/p/10776493.html 稍作修改 1.第一步，代码如下： from requests_html import HTMLSession url="https://www.baidu.com/" headers={ "Host": "www.baidu.com", "Upgrade-Insecure-Req...
解决安装requests_html报错
jackgaohahaha的博客
03-06 1256
终端输入：pip install requests_html 安装模块，结果报错如下 分析：安装路径权限不足 解决：添加–uer 赋予权限 pip install --user requests_html
使用PyCharm安装pytest以及requests
qq_35055695的博客
07-30 1818
电脑环境：windows7 64位 python3.7 问题：在PyCharm中，使用setting下的project Interpreter安装pytest以及requests失败 解决方法：（亲测有效） 1、打开Gitbash，定位到python的安装目录：我的安装目录是 D:\pythonAnZhuang\Python37\Scripts 2、输入：pip install requests，等待安装完成 3、输入：pip install pytest，等待安装完成 4...
解决requests-html上传中文附件错误
ljwwebs的博客
05-13 282
今天在使用Python的requests-html库上传中文附件时，遇到了几个问题一一解决了，怕时间长忘记，特地做一下记录。废话不多说，先直接上马： from requests_html import HTMLSession class AB30(): def __init__(self): self.sess=HTMLSession() 关键代码： with open(saveFilePath,'rb') as fs: _files={ 'from':(None,''),
requests_html导入错误,Python requests-html扔多处理错误
weixin_30889555的博客
06-25 235
我试图移动web抓取程序使用请求图书馆requests-html图书馆允许我把网页上的javascript。 导入的模块抛出这个错误:Traceback (most recent call last):File "backend2.py", line 2, in import requests_htmlFile "/Library/Frameworks/Python.framework/Versi...
requests-html
05-09
"requests-html"是一个在GitHub上备受推崇的Python库，它扩展了标准的"requests"库，为网络请求添加了更多的功能。这个库由高手开发，旨在简化网页抓取和解析的过程，同时也处理了一些常见的问题，比如模拟浏览器...
Python爬虫工具requests-html使用解析
09-16
主要介绍了Python爬虫工具requests-html使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python自学爬虫之requests-html.md
08-16
自学爬虫，采用requests-html框架
requests模块下载
08-21
在压缩包中，文件名 "kennethreitz-requests-083aa67" 可能表示的是 `requests` 项目的某个特定版本，其中 "083aa67" 很可能是该版本的Git提交哈希值。通过这个哈希值，我们可以追踪到该项目在GitHub上的具体更改...
Python库 | requests-toolbelt-0.6.1.tar.gz
03-10
无论是进行文件上传、处理大量数据、管理会话，还是应对服务器的速率限制和认证需求，`requests-toolbelt`都能提供解决方案。因此，熟练掌握`requests-toolbelt`的使用，无疑将提升Python开发者在处理网络请求时的...
centos 安装 requests-html render报错
getcomputerstyle的博客
10-17 359
报错的原因有很多，以下是针对已经安装chrome但是执行报错的解决方法： 安装依赖，执行以下命令 yum install pango.x86_64 libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x86_64 libXext.x86_64 libXi.x86_64 libXtst.x86_64 cups-libs.x86_64 libXS...
对于Requests_html 导入HTMLSession 报错现象总结
m0_47020161的博客
06-23 2851
对于Requests_html 导入HTMLSession 报错现象总结 许多刚开始学习爬虫的小伙伴在使用requests_html 这个强大方便的库时可能会出现如下报错 ImportError: cannot import name ‘HTMLSession’ from ‘requests_html’ (C:\Users…) 但是自己早已经升级到python 3.6版本以上，requests_html 也已经安装好，代码引用正确，如 from requests_html import HTMLSessio
解决使用requests_html模块，第一次使用.html.render()方法渲染，程序下载chrome失败的问题
new_python的博客
11-14 3598
1.手动下载chrome 下载地址：https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win_x64/650583/ 下载完成之后，找个地方保存并解压。 2.找到requests_html运行chrome的路径 进入python安装目录下的\Lib\site-packages\pyppeteer 打开chromium_downloa...
requeests_html报错pyppeteer.errors.BrowserError: Browser closed unexpectedly:解决办法
王小右的博客
10-12 5479
这是关于requests_html调用pyppeteer获取js渲染后页面的报错。 代码如下: from requests_html import HTMLSession session = HTMLSession() res = session.get("http://sec.didichuxing.com/present") res.html.render() # 动态渲染页面 print...
使用requests-html 遇见的问题
柒柒柒的博客
03-20 1147
使用requests-html 遇见的问题 1、解决无头浏览器问题（可能有反爬，所以需要使用模拟浏览器） 修改requests_html源码，如图所示，添加红框里的代码 示例爬虫代码： from requests_html import HTMLSession session = HTMLSession() headers = { "User-Agent": "Mozilla/5.0 ...
远程启动scrapy pyppeteer 报错
0x8g1T9E-
04-08 5447
MaxRetryError: HTTPSConnectionPool(host='storage.googleapis.com', port=443): Max retries exceeded with url: /chromium-browser-snapshots/Linux_x64/575458/chrome-linux.zip (Caused by SSLError(SSLError("...
python的requests-html库中使用render()后输出内容乱码的问题
weixin_47701932的博客
09-20 3201
近日在练习使用requests-html库来编写爬虫，不得不说这个库确实挺好用，里面的render()功能可以用来运行html文档中的JavaScript，在爬取带有JavaScript的网页时很方便，但在使用时发现一个问题，当网页内容里包含中文，且网页本身的charset不是utf-8，而是gbk等其他字符集的时候，render()后的网页中的中文会显示乱码，网上查阅了一些资料也没能解决这个问题。 话说目前网上关于requests-html库的文章还是比较少，最后还是决定自己啃源码来解决这个问题。以下的
解决python爬虫过程中遇到的问题
weixin_53819098的博客
07-24 850
当遇到如下报错时urllib3.exceptions.MaxRetryErrorHTTPSConnectionPool(host='translate.google.com',port=443)......
requests-html 和requests
最新发布
10-13
requests-html和requests都是Python中常用的HTTP请求库，但它们有一些不同之处。requests是一个基本的HTTP请求库，可以发送HTTP请求并处理响应。而requests-html则是在requests的基础上增加了HTML解析和JavaScript...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值