scrapy框架简介
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛;框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常方便。
库安装:
pip install scrapy
conda install scrapy
以scrapy的教程网站上的一个例子为例,我们来实例化一下scrapy爬虫。
#scrapy教程
https://docs.scrapy.org/en/latest/intro/examples.html
#目标站点
http://quotes.toscrape.com/
新建scrapy项目
1、创建爬虫项目,命令:scrapy startproject 项目名称
scrapy startproject mySpider
2、创建爬虫文件