先简单了解一下scrapy框架:
-
Scrapy是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架,底层是python语言写的框架。
-
Scrapy一个开源和协作的框架,其最初是为了页面抓取(更确切来说,网络抓取)所设计的,使用它可以快速、简单、可扩展目前Scrapy的用途十分广泛,可用于如挖掘、监测和自动化测试等领域,也可以应用在API
所返回的数据(例如Amazon Associates Web Services)或者通
用的网络爬虫。
现在关于scrapy框架安装问题干货送你们,安装的时候顺利点
-
大多数用户 pip install scrapy 就会报错,而且是一连串红色字体的报错。
-
scrapy安装的依赖库有 lxml、 pyOpenSSL 、 Twisted 、pywin32。注意的是我们安装的这些库,都是通过wheel来安装的。因此在安装这些库之前,先得安装wheel。打开控制台窗口,输入pip install wheel,先安装wheel库。
-
pip install pyOpenSSL
-
pip install lxml
-
pip install pywin32
-
然后升级一下 pip版本: python -m pip install --upgrade pip
-
最后安装:pip install Twisted ,到这里有俩个大坑