python的高级爬虫框架Scrapy

Scrapy

众所周知，Scrapy 是一个高级的python爬虫框架，功能极其强大，拥有它就可以快速编写出一个爬虫项目，拥有它就可以搭建分布式架构。那么，请问这么强大的框架要怎么拥有？很简单，由于我只尝试了Windows平台下的安装，所以下文也是该平台下的安装步骤。

Windows的安装是比较常见的，相对其他两种系统，在Windows下的安装步骤比较繁琐，但也不难（往下看，还有一种简单的安装方式）。只要在它安装Scrapy之前，安装几个其他的依赖库就行了。

第一个安装的依赖库是lxml ,命令是：

pip install lxml

第二个依赖库是pyOpenSSL，这个库的安装步骤是这样子的：

1.进入https://pypi.org/project/pyOpenSSL/#downloads 下载wheel文件；
2.在命令行窗口执行pip install (需要加上你下载文件的路径名)\pyOpenSSL-18.0.0-py2.py3-none-any.whl

第三个依赖库是Twisted库，安装步骤是：

1.进入http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，下载对应的版本

2.在命令行执行命令pip install Twisted‑xxx‑cpxx‑cpxxm‑win_amdxx.whl即可

第四个依赖库是pywin32：

1.进入网址https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/ 下载对应的版本。

我的是python3.6，系统是64位的所以我下载了这个版本
2.双击exe文件安装即可

以上我们的依赖库就安装好了，如果没有出现问题就可以安装Scrapy了，安装Scrapy很简单，只需要在命令行执行pip install scrapy，就可以拥有这个强大的框架了。

上面就介绍Windows平台下的安装方式之一（这个方式我不喜欢！），还有一种更简单的安装方式——Anaconda下的安装。
如果你已经安装了Anaconda 的话，那么你只需要在命令行下执行conda intall Scrapy 就可以轻松地安装了，为什么会这么简单呢？那是因为Anaconda已经安装好Scrapy 所需要的依赖库了。