使用scrapy框架的monkey出现monkeypatchwarning: monkey-patching ssl after ssl...的解决办法

最新推荐文章于 2023-06-14 13:51:51 发布
最新推荐文章于 2023-06-14 13:51:51 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： Python 爬虫 scrapy 文章标签： scrapy 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wylycool/article/details/80777884
版权
Python 同时被 3 个专栏收录
15 篇文章 0 订阅
订阅专栏
爬虫
2 篇文章 0 订阅
订阅专栏
scrapy
2 篇文章 0 订阅
订阅专栏

问题描述:
j警报截图
环境情况: pycharm 2016.1.4———-python 3.6.0——–windows10系统
在scrapy爬虫框架中, 使用协程gevent中的monkey时, 可能会出现上图中的warning警告问题, 这时可以不去管它, 但如果想解决, 可以这样做

解决办法:
这三句的顺序必须按下面的顺序排列, 同时, 三句要放在所有导入包的最上面才不会报出warning

import gevent
from gevent import monkey
gevent.monkey.patch_all()

技术交流可以留言评论哦 ! 虚心学习, 不忘初心, 共同奋进 !

半岛铁盒子
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
python协程gevent monkey的MonkeyPatchWarning 警告
loctech的博客
10-04 946
协程 猴子修补的MonkeyPatchWarning 警告 MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors, including RecursionError on Python 3.6. It may also silently lead to incorrect behaviour on Python 3.7. Please monkey-patch earli
MonkeyPatchWarning
qq_40678779的博客
07-05 363
# 报错： MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors, including RecursionError on Python 3.6. It may also silently lead to incorrect behaviour on Python 3.7. Please monkey-patch earlier. See https://github.
【解决方案】Monkey-patching ssl after ssl has already been imported may lead to errors
肥宅Sean
10-08 8733
简述 最近换成了Python 3.6 发现以前我写了一个爬虫用不了了。 https://blog.csdn.net/a19990412/article/details/80149453 遇到这个问题之后，我在网上搜索了一下，再github上的一个小哥给出了解答。有些小哥可能访问github稍微慢点，看csdn就会方便很多。 解决办法 就是将先打好补丁，之后，再导入其他的包 即导入包的顺序变成下面的...
MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors
EverdayForCode的博客
05-21 4959
python3.6开启多协程报错 代码 import gevent from gevent import monkey monkey.patch_all() # 把程序变成协作式运行,---异步 from gevent.queue import Queue import time, requests from bs4 import BeautifulSoup 报错信息 MonkeyPatchWarning: Monkey-patching ssl after ssl has already been i
python中gevent模块使用及出现MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may
Marvin_Wind的博客
10-25 8841
出现MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors需要调整一下导入顺序 import gevent from gevent import monkey monkey.patch_all() import requests #导入顺序，否则会报...
第八章：scrapy框架_第八章：scrapy框架.zip_
10-03
Scrapy是一个强大的Python爬虫框架，专为网页抓取、数据提取和网络爬虫项目设计。本章将深入探讨Scrapy的基本概念、架构以及如何利用它来构建高效的爬虫项目。 首先，Scrapy的核心概念包括Spiders（蜘蛛）、Item...
Python实现基于Scrapy-Redis的分布式爬虫实现框架源码.zip
最新发布
05-08
Python实现基于Scrapy-Redis的分布式爬虫实现框架源码.zip本资源中的源码都是经过本地编译过可运行的，评审分达到95分以上。资源项目的难度比较适中，内容都是经过助教老师审定过的能够满足学习、使用需求，如果有...
PyPI 官网下载 | scrapy-auto-translation-middleware-0.0.6.tar.gz
02-11
在给定的压缩包文件"scrapy-auto-translation-middleware-0.0.6.tar.gz"中，我们可以看到一个名为"scrapy-auto-translation-middleware"的中间件，这显然是为Scrapy设计的一个自动翻译扩展。中间件是Scrapy框架的...
Python库 | scrapy-amazon-robot-middleware-jondot-0.2.3.tar.gz
03-10
Scrapy是一个强大的Python爬虫框架，它为网络数据抓取提供了高效、灵活的解决方案。而`scrapy-amazon-robot-middleware-jondot-0.2.3.tar.gz`是针对Amazon网站的一个特定中间件，它扩展了Scrapy的功能，帮助开发者在...
docs-scrapy-org-en-1.8.zip
04-10
这个名为"docs-scrapy-org-en-1.8.zip"的压缩包包含了Scrapy 1.8版本的官方英文文档，是学习和理解Scrapy框架的重要资源。以下是基于Scrapy 1.8版本的几个关键知识点的详细说明： 1. **Scrapy架构**：Scrapy基于...
Python运行代码警告MonkeyPatchWarning: Monkey-patching ssl......问题如何解决
复现的博客
06-14 1732
MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors, including RecursionError on Python 3.6. It may also silently lead to incorrect behaviour on Python 3.7. Please monkey-patch earlier. See https://github.com/geve
celery错误：Monkey-patching not on the main thread（与gevent的pool不兼容）
墨痕诉清风的博客
08-26 973
ThreadPoolExecutor替代了gevent的pool。直接将Python版本更换为3.6版本。
使用scrapy框架的monkey出现monkeypatchwarning: monkey-patching ssl after ssl...的解决办法
weixin_30512043的博客
07-06 181
问题描述: 环境情况: pycharm 2016.1.4———-python 3.6.0——–windows10系统在scrapy爬虫框架中, 使用协程gevent中的monkey时, 可能会出现上图中的warning警告问题, 这时可以不去管它, 但如果想解决, 可以这样做 解决办法:这三句的顺序必须按下面的顺序排列, 同时, 三句要放在所有导入包的最上面才不会报出warning...
Javascript - 方法注入 Method Injection 'monkey-patching'
yuxuac的专栏
10-02 223
读Javascript: The Definitive Guide这本书的时候发现一个有意思的代码，可以在调用方法的之前和之后注入一些回调或者代码，分享给大家： // Define a method. function addBy10(val) { return val + 10; } var obj = { 'myMethod': addBy10 }; obj.myMethod(5)...
猴子补丁 - Monkey Patching
weixin_30764771的博客
10-25 180
0 猴子补丁 - Monkey Patching 1 定义, 2 猴子补丁（monkey patching） 3 　　 在运行时动态修改模块、类或函数，通常是添加功能或修正缺陷。猴子补丁在代码运行时 4 （内存中）发挥作用，不会修改源码，因此只对当前运行的程序实例有效。 5 因为猴子补丁破坏了封装，而且容易导致程序与...
如何解决python编程中的MonkeyPatchWarning错误
qq_37289115的博客
05-26 3946
在学习使用python中的多协程功能时，出现以下警告信息：MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors, including RecursionError on Python 3.6. It may also silently lead to incorrect behaviour on Python 3.7. Please monkey-patch earlier
Patching more than once will result in the union of all True param eters being patched monkey.pat
追梦小狂魔的博客
02-18 205
【代码】Patching more than once will result in the union of all True param eters being patched monkey.pat。
gunicorn.errors.HaltServer
无痕的博客
06-18 6433
gunicorn报错gunicorn.errors.HaltServer: <HaltServer 'Worker failed to boot.' 3> [root@zq ~]# gunicorn --reload --bind=127.0.0.1:5013 --workers=4 --timeout 180 logquery_service:app [2020-06-18 13:46:38 +0000] [2068] [INFO] Starting gunicorn 19.7.1 .
【错误集】 MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to errors
weixin_51656605的博客
02-05 2083
原代码 import gevent from gevent.queue import Queue,Empty import time import requests #把下面有可能有IO操作的单独坐上标记 from gevent import monkey monkey.patch_all()#将IO转为异步执行的函数 错误 MonkeyPatchWarning: Monkey-patching ssl after ssl has already been imported may lead to e
使用scrapy框架进行爬取https://movie.douban.com/cinema/later/chongqing/
05-26
好的，以下是使用Scrapy框架爬取该网站的步骤： 1. 创建一个Scrapy项目 在命令行中使用以下命令创建一个名为douban_movie的Scrapy项目： ``` scrapy startproject douban_movie ``` 2. 创建一个Spider 在douban_movie/spiders目录下创建一个名为movies.py的文件，并添加以下代码： ```python import scrapy class MoviesSpider(scrapy.Spider): name = 'movies' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/cinema/later/chongqing/'] def parse(self, response): pass ``` 这个Spider将会爬取 https://movie.douban.com/cinema/later/chongqing/ 页面的信息。 3. 解析页面 在parse方法中，我们将使用XPath表达式来解析页面。以下是获取每个电影信息的XPath表达式： ```python for movie in response.xpath('//div[@class="show-list"]/ul/li'): title = movie.xpath('.//li[@class="stitle"]/a/text()')[0].extract() release_date = movie.xpath('.//li[@class="srdate"]/text()')[0].extract() yield { 'title': title, 'release_date': release_date } ``` 4. 运行Spider 在命令行中运行以下命令启动Spider： ``` scrapy crawl movies ``` Spider将会爬取网站并输出每部电影的标题和上映日期。 完整的代码如下： ```python import scrapy class MoviesSpider(scrapy.Spider): name = 'movies' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/cinema/later/chongqing/'] def parse(self, response): for movie in response.xpath('//div[@class="show-list"]/ul/li'): title = movie.xpath('.//li[@class="stitle"]/a/text()')[0].extract() release_date = movie.xpath('.//li[@class="srdate"]/text()')[0].extract() yield { 'title': title, 'release_date': release_date } ``` 注意：为了避免被网站封禁，我们需要在settings.py中添加以下设置： ```python DOWNLOAD_DELAY = 1 ``` 这将会延迟每个请求1秒钟。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值