Scrapy是一个Python爬虫框架,非常适合做一些大型爬虫羡慕,并且开发者利用这个框架,可以不用过多关注细节。Scrapy的官网地址是:http://scrapy.org/
少坑版安装方式
由于Scrapy框架涉及太多依赖库,在此,如果想省事的朋友,可以按照这种方式安装。
- 开个VPN或者采用本地安装方式
- 首先升级pip:python -m pip install --upgrade pip
- 安装Visual Studio 专业版
- 安装lxml
- pip install scrapy
创建项目:
scrapy startproject app