python爬虫框架-----Scrapy

一、Scrapy爬虫框架

官方文档：https://docs.scrapy.org/en/latest/intro/overview.html

• Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。
• Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
• Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。

1.架构流程

Scrapy主要包括了以下组件：

• 引擎(Scrapy): 用来处理整个系统的数据流, 触发事务(框架核心)
• 调度器(Scheduler): 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
• 下载器(Downloader): 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
• 爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
• **项目管道(Pipeline)😗*负责处理爬虫从网页中抽取的实体，**主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。**当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

• 下载器中间件(Downloader Middlewares): 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
• **爬虫中间件(Spider Middlewares)😗*介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出
• 调度中间件(Scheduler Middewares): 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

2.优势

– 用户只需要定制开发几个模块， 就可以轻松实现爬虫, 用来抓取
网页内容和图片， 非常方便; – Scrapy使用了Twisted异步网络框架来处理网络通讯， 加快网页
下载速度， 不需要自己实现异步框架和多线程等， 并且包含了各
种中间件接口， 灵活完成各种需求

安装scrapy包:pythonpip install -i https://pypi.douban.com/simple scrapy

3.爬虫步骤

- 新建项目(scrapy startproject xxx)
命令行输入：
scrapy startproject 项目名称
cd 项目名称
scrapy genspider 爬虫名称 爬取网址
- 明确目标(编写item.py)
明确你要抓取的目标
- 制作爬虫(爬虫名称.py)
制作爬虫， 开始爬取网页;
- 存储爬虫(pipelines.py)
设置管道存储爬取内容
运行时，命令行输入:
scrapy crawl 爬虫名称
运行并存储：scrapy crawl 爬虫名称 -o 文件名

二、基于Scrapy框架的三国演义、红楼梦等多文件爬取项目

1.项目分析

1. 爬取网站http://shicimingju.com下的四大名著
2. 分析后可知，四大名著的 url 信息分别为
   ‘http://shicimingju.com/book/sanguoyanyi.html’,
   ‘http://shicimingju.com/book/hongloumeng.html’,
   ‘http://shicimingju.com/book/shuihuzhuan.html’,
   ‘http://shicimingju.com/book/xiyouji.html’,
3. 在对每一本书对应的首页信息进行爬取时发现，要获取书籍内容必须要继续对页面下的章节url 进行数据爬取，分析如下图所示：
   每个a标签包含文章的每个章节目录名，并且包含章节详情的链接。
   
   4.继续对章节详情页面进行分析
   文章的每一段落被写在每个p标签里
   

Scrapy爬虫流程:
1. 确定start_urls起始URL
2. 引擎将起始的URL交给调度器(存储到队列， 去重)
3. 调度器将URL发送给Downloader，Downloader发起Request从互联网上下载网页信息(Response)
4. 将下载的页面内容交给Spider， 进行解析(parse函数), yield 数据
5. 将处理好的数据(items)交给pipeline进行存储

Scrapy爬虫流程:
在scrapy项目中，组件在运行的时候，首先是先找spider给我们指定一些信息，比如爬取一部小说的名字，爬虫的一个开始的url地址。spider吧这个消息告诉引擎，引擎把这个url的地址保存到调度器里面，调度器里面他是一个队列先进先出，先放进去的网址他就先爬，后存进去的网址后爬，并且，调度器实惠去重的。然后，它会依次从这个队列里面把这些网址拿出来交给download组建，去下载相对应的网址页面。下载下来之后，会给我们返回一个响应，就是这个服务器端给我们返回的响应，他把这个响应在交给spider，去执行解析文件，一般用正则或者xpath或者BS4来解析。把想要的信息给解析出来，有的信息一次性就可以解析出来，有的需哟啊爬取另外一个详情网站。这个时候在给调度器传一个地址，然后交给download去下载，在交给spider分析。

按照爬虫流程：
打开一个终端

#1.创建项目
(base) F:\ziliao\python_kaifa\my_code\13_Spider\SpiderProject>scrapy startproject ScrapyProject

#2.转到项目目录
(base) F:\ziliao\python_kaifa\my_code\13_Spider\SpiderProject>cd ScrapyProject

#3.生成一个爬虫解析文件book
(base) F:\ziliao\python_kaifa\my_code\13_Spider\SpiderProject\ScrapyProject>scrapy genspider book shicimingju.com  

#4.爬虫
(base) F:\ziliao\python_kaifa\my_code\13_Spider\SpiderProject\ScrapyProject>scrapy crawl book

打开另一个终端进入交互环境
进行测试，测试没问题在进行编写代码

#进入shell环境
(base) F:\ziliao\python_kaifa\my_code\13_Spider\SpiderProject\ScrapyProject>scrapy shell http://www.shicimingju.com/book/hongloumeng.html

book/hongloumeng.html> (referer: None)
[s] Available Scrapy objects:
[s]   scrapy     scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s]   crawler    <scrapy.crawler.Crawler object at 0x000002290521EB38>