在Python3.5下安装和测试Scrapy爬网站
转载来源:http://www.jianshu.com/p/5f81ee00c84b
1. 引言
Scrapy框架结构清晰,基于twisted的异步架构可以充分利用计算机资源,是爬虫做大的必备基础。本文将讲解如何快速安装此框架并使用起来。
2. 安装Twisted
2.1 同安装Lxml库
(参考《为编写网络爬虫程序安装Python3.5》3.1节)一样,通过下载对应版本的.whl文件先
转载
2017-07-20 16:49:13 ·
259 阅读 ·
0 评论