win7（win32）安装python 爬虫工具scrapy记录

最新推荐文章于 2020-09-10 23:36:48 发布

lablas

最新推荐文章于 2020-09-10 23:36:48 发布

阅读量9.9k

点赞数 1

分类专栏： python 文章标签： python scrapy

本文链接：https://blog.csdn.net/fvb17321/article/details/37958617

版权

本文记录了在Win7系统下安装Python爬虫库Scrapy的过程，包括遇到的问题及解决方案。首先安装Python 2.7.7，并将其路径添加到环境变量。然后，将libxml2、pyOpenSSL等依赖手动下载并放入Python的site-packages目录，通过easy_install进行安装。最后，使用命令行直接安装Scrapy。参考链接提供了更详细的安装指南。

摘要由CSDN通过智能技术生成

win7（win32）安装python 爬虫工具scrapy记录：

过程中遇到的主要问题总结：

一、pypi网站下的packages不知道怎么准确查找定位，比如“https://pypi.python.org/packages/2.7/s/setuptools/”这个下的packages目录

死活找不到。

二、scrapy官网上没说windows下的安装包，“Scrapy-0.24.2-py2-none-any.whl (md5)”这个安装包的意思是全平台通用？

把这个安装包下载解压放到python的第三方目录C:\Python27\Lib\site-packages中，使用easy_install进行安装成功。

三、第二步完成以后，尝试启动scrapy，起来来，但是有warning：
:0: UserWarning: You do not have a working installation of the service_identity
module: 'No module named service_identity'. Please install it from <https://pyp
i.python.org/pypi/service_identity> and make sure all of its dependencies are sa
tisfied. Without the service_identity module and a recent enough pyOpenSSL to s
upport it, Twisted can perform only rudimentary TLS client hostname verification