Python爬虫Scrapy框架学习第2课 Scrapy框架基本使用

Scrapy框架基本使用

● 用一个实例，来详细介绍scrapy框架的使用流程

01.目标站点分析

我们使用的目标站点是一个scrapy官方提供的抓取网站：Quotes to Scrape，这个网站中有一些名人名言，网页跳转也是简单的通过修改url中的page值来进行跳转，没有任何反爬虫的措施，适合初学者拿来做对Scrapy框架的学习使用。

02.爬取流程框架

03.实战演练

3.1 创建scrapy项目

1、打开命令行
打开命令行输入scrapy，会出现scrapy相关的命令提示，这样就确保了你的scrapy是安装成功的。
如果还未安装scrapy的可以参考之前的博文：Python爬虫Scrapy框架学习第1课 Win10系统下scrapy安装和环境搭建，自行进行安装。

2、创建scrapy项目
scrapy startproject 项目名称

3、创建spider
进入与项目的文件夹下，创建spider
scrapy genspider spider名称 你要爬取的网站域名图中的网站域名有误，改正后的命令为：

scrapy genspider quotes quotes.toscrape.com

4、查看是否创建完成
在pycharm中，打开此项目查看

5、运行一下空项目
在pycharm的terminal中输入：scrapy crawl qutoes,回车后控制台会输出一些调试信息

或者直接在pycharm的terminal中进行创建

6、添加返回内容