使用Scrapy时遇到：UserWarning: You do not have a working installation of the service_identity module

最新推荐文章于 2024-01-24 17:28:23 发布
最新推荐文章于 2024-01-24 17:28:23 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： linux 爬虫工程师 文章标签： UserWarning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niubiqigai/article/details/82825689
版权

当我们使用scrapy进行爬虫项目的操作时，出现如下错误：

UserWarning: You do not have a working installation of the service_identity module: ‘cannot import name ‘opentype’’. Please install it from https://pypi.python.org/pypi/service_identity and make sure all of its dependencies are satisfied. Without the service_identity module, Twisted can perform only rudimentary TLS client hostname verification. Many valid certificate/hostname mappings may be rejected.

如图：

UserWarning.png

从提示错误来看，我们需要安装一个模块service_identity，根据提示地址[https://pypi.python.org/pypi/service_identity]来安装，那么我们按照这个来进行安装能解决问题吗？可以试一下。

service_identity.png

我们可以直接通过命令行下载，
sudo pip3 install service_identity-17.0.0-py2.py3-none-any.whl

如果上面的方法没能解决问题，很大可能是有些包的版本不一样导致的，这个时候我们可以用下面这行代码来强制更新。
sudo pip3 install service_identity --force --upgrade

至此，恭喜您成功解决问题，祝您生活愉快！

niubiqigai
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy-playwright::performing_arts:适用于Scrapy的Playwright集成
03-28
Scrapy的Playwright集成 该项目提供了一个Scrapy下载处理程序，该程序使用执行请求。 它可用于处理需要JavaScript的页面。 该软件包不会干扰常规的Scrapy工作流程，例如请求计划或项目处理。 动机 在发布后，其中包括部分和实验性，Scrapy允许集成基于asyncio的项目，例如Playwright 。 要求 Python 3.7以上 Scrapy 2.0+ 剧作家0.7.0+ 安装 $ pip install scrapy-playwright 配置 通过替换默认的http和https下载处理程序： DOWNLOAD_HANDLERS = { "http" : "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler" , "https" : "scrapy_playwright
scrapy-selenium:Scrapy中间件使用Selenium处理javascript页面
04-30
用Seleniumcra Scrapy中间件可使用Selenium处理javascript页面。 安装 $ pip install scrapy-selenium 您应该使用python> = 3.6 。 您还将需要一种与Selenium。 配置 添加要使用的浏览器，驱动程序可执行文件的路径，以及将要传递给可执行文件的参数传递给scrapy设置： from shutil import which SELENIUM_DRIVER_NAME = 'firefox' SELENIUM_DRIVER_EXECUTABLE_PATH = which ( 'geckodriver' ) SELENIUM_DRIVER_ARGUMENTS = [ '-headless' ] # '--headless' if using chrome instead of firefox （可选）设置浏览器可执行
精通scrapy网络爬虫 第三章———利用selector提取数据
Three123v的博客
11-07 640
创建对象 #创建Selector 对象 from scrapy.selector import Selector text = ''' <html> <body> <h1>Hello World</h1> <h1>Hello Scrapy</h1> <h1&gt...
【一】python3+Scrapy：爬虫框架问题合集 【参考转载大佬文章 + 自己解决方法】
莲君子的博客
05-03 4233
因为安装了推荐的Notepad++ keymap扩展，卸载就可以了。
关闭scrapy的UserWarning: Selector got both text and root, root is being ignored.警告信息
最新发布
一勺菠萝丶的博客
01-24 608
在Python开发中，我们可能会遇到一些特定的警告，它们可能是由于第三方库中的代码引起的，或者是我们自己代码中一些不合理但并非致命的部分产生的。例如，Scrapy框架可能会发出警告，提示我们关于选择器使用的一些不推荐的做法。这些警告虽然有其重要性，但有时候我们确信这些警告对当前的项目不是问题，或者它们是由于我们使用的某个库而不是我们自己的代码引起的。这时，我们可能想要关闭它们。下面，我们将介绍如何关闭Python警告，并且分析一个具体的警告例子。
Python 告警 UserWarning: .python-egg is writable by group/others 解决方案
weixin_33690367的博客
12-06 1335
2019独角兽企业重金招聘Python工程师标准>>> ...
如何解决数据库插入数据显示SQLSTATE[HY000]: General error: 1364 Field ‘xxxxx‘ doesn‘t have a default value错误
刘杨造梦的博客
07-06 3421
mysql数据库设置有问题最终找到办法，就是mysql设置的问题，有my.ini的就找这个文件，没有的就找my.cnf（这个一般都在/ect/my.conf），找到这个文件就去找[mysqld]这个配置，然后找 sql-mode="STRICT_TRANS_TABLESNO_ENGINE_SUBSTITUTION" 这个可能你我的不相同，你只要找到sql-mode 就好，然后将这个复制一次(习惯性的安全)，注释上，将它改成sql-mode=NO_AUTO_CREATE_USER,NO_ENGINE_SUBS
scrapy_example:使用 Scrapy 抓取 Web 应用程序数据的示例爬虫
06-11
该项目的目的是演示如何使用 Scrapy ( ) 来抓取 Web 应用程序数据。 请参阅此处获取全文： :
scrapy_demo：各种scrapy演示
02-04
Scrapy_demo 如果该项目对您有帮助，则该项目会抓取我最常抓取的网站列表，请加星号，谢谢:)蜘蛛清单豆瓣douban_oss googleplay cnbeta K a cnblogs项目特色google play使用抓取蜘蛛和pymongo douban使用图像管道...
scrapy-cluster:该Scrapy项目使用Redis和Kafka创建按需分布式抓取集群
05-01
杂乱的集群 该Scrapy项目使用Redis和Kafka创建按需分布式抓取集群。 目标是在许多等待的蜘蛛实例之间分发种子URL，这些蜘蛛实例的请求通过Redis进行协调。 由于边界扩展或深度遍历而导致的任何其他爬网也会在群集中...
[环境配置][原创] The soupsieve package is not installed. CSS selectors cannot be used
FL1623863129的博客
02-24 2883
直接复制anaconda里面的bs4会报错： E:\Python3.6.5\lib\bs4\element.py:16: UserWarning: The soupsieve package is not installed. CSS selectors cannot be used. 'The soupsieve package is not installed. CSS selectors cannot be used.' 解决方法： pip install soupsieve ...
安装service_identity失败总结
qq_45893319的博客
09-03 985
有一天运行一个爬虫程序时报以下错误： :0: UserWarning: You do not have a working installation of the service_identity module: ‘cannot import name ‘原错误中这是一个不能导入某个包，忘了是啥了’’. Please install it from https://pypi.python.org/pypi/service_identity and make sure all of its dependenc
Scrapy时遇到：UserWarning: You do not have a working installation of the service_identity module
dta0502的博客
10-26 579
问题 UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from &lt;https://pypi.python.org/pypi/service_identity&gt; an...
太好了 今天写代码又遇到了一个新的问题
爱已走到尽头 恨也放弃承诺
09-24 769
<br /> <br />话不多说 先上图<br /> <br /> <br /><br /> <br />百度一下<br /> <br /> 解决方法是：<br />        <br /> <br />  把菜单的 调试->异常->Managed Debuggin Assistants->LoaderLock 的选中状态去掉即可！<br /> <br /> <br />  <br /> <br /> <br /> <br /> 
爬虫频繁出现You do not have a working installation of the service_identity module
晓飛的博客
08-31 1213
UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from ..的问题解决（图文详解）   转载自  http://www.cnblogs.com/zlslch/ 　　但是在...
Ubuntu UserWarning: You do not have a working installation of the service_identity module: 'cannot
qq_32446743的博客
03-22 427
转载自：https://blog.csdn.net/niubiqigai/article/details/82825689 我们可以直接通过命令行下载 sudo pip3 install service_identity-17.0.0-py2.py3-none-any.whl [自己去网上下载] 如果上面的方法没能解决问题，很大可能是有些包的版本不一样导致的，这个时候我们可以用下面这行代码...
[python]scrapy 运行出现 service_identity module warning
Jimy_Fengqi
06-12 774
安装scrapy框架之前需要安装很多的依赖包 这个按照官方文档来就可以。不再赘述 说说今天遇到的问题。报错如下 python@ubuntu:~$ scrapy :0: UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype...
解决':0: UserWarning: You do not have a working installation of the service_identity module: 'can''的方案
u011692780的博客
08-01 1090
解决方案一： （1）、--sudo pip3 install service_identity --force --upgrade （2）、重启系统 解决方案二： 升级pyasn
solve UserWarning: Selector got both text and root, root is being ignored.
06-01
这个 `UserWarning` 通常出现在使用 `response.xpath()` 或 `response.css()` 时，同时提取了 `text` 和 `root` 属性，而这两个属性是互斥的，只能选择其中一个。 例如，考虑以下代码： ```python response.xpath('//div[@class="my-class"]') ``` 如果这个 XPath 表达式匹配到多个元素，那么 `response.xpath()` 返回的是一个 `SelectorList` 对象，该对象的每个元素都是一个 `Selector` 对象，它们都有 `text` 和 `root` 属性。此时，如果你尝试通过以下方式同时提取 `text` 和 `root` 属性： ```python elements = response.xpath('//div[@class="my-class"]') for elem in elements: text = elem.xpath('text()').get() root = elem.root # do something with text and root ``` 你就会得到这个 `UserWarning`。因为在 `elem` 上调用 `xpath()` 方法时，你已经获得了这个元素的文本内容，所以你不应该再使用 `root` 属性来获得它的根节点。 为了避免这个警告，你需要选择一个属性来提取，例如： ```python elements = response.xpath('//div[@class="my-class"]') for elem in elements: text = elem.xpath('text()').get() # do something with text ``` 或者： ```python elements = response.xpath('//div[@class="my-class"]') for elem in elements: root = elem.root # do something with root ``` 这样就不会再出现这个 `UserWarning` 了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值