Python的scrapy框架安装Tips

啊啊，为了更酷炫地用python爬取资源，按照网上建议去下载scrapy。

关于scrapy，网上介绍很多，下载安装教程也很多，也都对。

只不过不同的机子、不同的python版本、不同的网速等等因素，要采用的方法都不大一样。

其实pip install scrapy按道理说，网速够快足够稳定并且没有阻碍拦截应该是不会报错的。

可是问题就出在网速上，所以最近校园网犯毛病的我只好一遍遍搜寻scrapy的各个模块，手动下载然后在下载到的根目录下pip install。

涉及到的模块

其中有的不属于scrapy，但是需要他们支持scrapy，我下载的有如下：

pyOpenSSL

Twisted

PyWin32

CFFI

cryptography

lxml

zope.interface

cssselect

一般常见模块可以在下面的网址下载：

https://www.lfd.uci.edu/~gohlke/pythonlibs/   

上面有几个模块在这个网站没有资源，点击链接会转到github上，当然这些也可以去官网下载，不过效果和pip install区别不算太大。

这类模块的建议就是直接pip，但是因为网速不稳定会经常断开然后报错，处理方法就是一遍遍按⬆重试，然后回车。

祝大家好运！

 

转载于:https://www.cnblogs.com/AnEKiller/p/11552813.html