python 爬取数据还要下载scrapy吗_在Python3.5下安装和测试Scrapy爬网站

本帖最后由 xandy 于 2017-3-2 16:13 编辑

1. 引言

Scrapy框架结构清晰，基于twisted的异步架构可以充分利用计算机资源，是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。

2. 安装Twisted

2.1 同安装Lxml库

(参考《为编写网络爬虫程序安装Python3.5》3.1节)一样，通过下载对应版本的.whl文件先安装twisted库，下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

python26_1.png (13.67 KB, 下载次数: 64)

1

2016-10-20 14:46 上传

2.2 安装twisted

打开命令提示符窗口，输入命令：

pip install E:\demo\Twisted-16.4.1-cp35-cp35m-win_amd64.whl(下载好的twisted模块的whl文件路径)复制代码

python26_2.png (14.54 KB, 下载次数: 66)

2

2016-10-20 14:46 上传3. 安装scrapy

twisted库安装成功后，安装scrapy就简单了，在命令提示符窗口直接输入命令： pip install scrapy 回车

python26_3.png (58.54 KB, 下载次数: 58)

3

2016-10-20 14:46 上传安装关联模块pypiwin32，在命令提示符窗口直接输入命令： pip install pypiwin32 回车

python26_4.png (8.71 KB, 下载次数: 63)

4

2016-10-20 14:46 上传

4. Scrapy测试，敲一个基于Scrapy框架的爬虫程序

新建一个Scrapy爬虫项目fourth(因为这是