Python scrapy环境搭建

一、Scrapy安装

Scrapy有很多依赖包，在windows 下安装很复杂。直接pip安装scrapy会报出很多错误。具体依赖问题使用下面安装的例子

1.1 传统方法

先安装框架需要的依赖包，然后再安装scrapy框架。

1.1.1安装wheel

直接使用pip命令 pip install wheel

1.1.2 安装lxml

在http://www.lfd.uci.edu/~gohlke/pythonlibs/  在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install lxml-4.3.3-cp37-cp37m-win_amd64.whl

1.1.3 安装zope.interface

在https://pypi.python.org/pypi/zope.interface#downloads在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install  zope.interface-4.6.0-cp37-cp37m-win_amd64.whl

1.1.4 安装pyOpenSSL

https://pypi.python.org/pypi/pyOpenSSL#downloads在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install pyOpenSSL-19.0.0-py2.py3-none-any.whl

1.1.5 安装Twisted

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted在这里找对应的版本下载包，然后切入安装目录执行安装语句。

pip install Twisted-19.2.0-cp37-cp37m-win_amd64.whl

以上lxml、zope.interface、pyOpenSSL、Twisted包安装完毕成功示意如图1：

 

图1：lxml、zope.interface、pyOpenSSL、Twisted包安装

 

1.1.6 安装pywin32

直接“下一步”安装就好

 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装

 

 

Pywin32安装直接下一步，安装完成的情况如下图2：

                                         图2 Pywin32安装

 

【只要按要求将上面的依赖包都安装成功，scrapy就能安装成功了】

使用pip install scrapy命令安装scrapy框架。Scrapy安装成功如图3.

 

                                          图3 scrapy成功安装

命令行中输入scrapy，可以看到scrapy可以使用的命令。