web爬虫，scrapy模块以及相关依赖模块安装

当前环境python3.5 ，windows10系统

Linux系统安装

在线安装，会自动安装scrapy模块以及相关依赖模块

pip install Scrapy

手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz （XML处理库）

2、Twisted-17.5.0.tar.bz2 （用Python编写的异步网络框架）

3、Scrapy-1.4.0.tar.gz （高级web爬行和web抓取框架）

4、pyOpenSSL-17.2.0.tar.gz （OpenSSL库）

5、queuelib-1.4.2.tar.gz （Queuelib是用于Python的持久(基于磁盘的)队列的集合）

6、w3lib-1.17.0.tar.gz （与web相关的函数的Python库）

7、cryptography-2.0.tar.gz （密码学是一种包）

8、pyasn1-0.2.3.tar.gz （ASN类型和编解码器）

9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基于协议模块）

10、cffi-1.10.0.tar.gz （用于Python调用C代码的外部函数接口）

11、asn1crypto-0.22.0.tar.gz （快速的ASN一个解析器和序列化器）

12、idna-2.5.tar.gz （应用程序中的国际化域名(IDNA)）

13、pycparser-2.18.tar.gz （C解析器在Python中）

windows系统安装

windows安装，首先要安装pywin32，根据自己的系统来安装32位还是64位

pywin32-221.win32-py3.5.exe

pywin32-221.win-amd64-py3.5.exe

在线安装

在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容
pip install scrapy

手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块

安装以下模块

1、lxml-3.8.0.tar.gz （XML处理库）

2、Twisted-17.5.0.tar.bz2 （用Python编写的异步网络框架）

3、Scrapy-1.4.0.tar.gz （高级web爬行和web抓取框架）

4、pyOpenSSL-17.2.0.tar.gz （OpenSSL库）

5、queuelib-1.4.2.tar.gz （Queuelib是用于Python的持久(基于磁盘的)队列的集合）

6、w3lib-1.17.0.tar.gz （与web相关的函数的Python库）

7、cryptography-2.0.tar.gz （密码学是一种包）

8、pyasn1-0.2.3.tar.gz （ASN类型和编解码器）

9、pyasn1-modules-0.0.9.tar.gz （ASN的集合。基于协议模块）

10、cffi-1.10.0.tar.gz （用于Python调用C代码的外部函数接口）

11、asn1crypto-0.22.0.tar.gz （快速的ASN一个解析器和序列化器）

12、idna-2.5.tar.gz （应用程序中的国际化域名(IDNA)）

13、pycparser-2.18.tar.gz （C解析器在Python中）

测试是否安装成功

在cmd终端，运行python

然后运行：import scrapy ，没有提示错误说明安装成功

如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的。交流经验。从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！分享一些学习的方法和需要注意的小细节，点击加入我们的 python学习者聚集地