专业爬虫框架 -- scrapy初识及基本应用

scrapy基本介绍

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。

但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。

因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。

 Scrapy架构

 百度上找到的Scrapy架构图：

1、引擎(Engine)：
引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。

有关详细信息，请参见上面的数据流部分。

------>>>

2、调度器(Scheduler)：
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

------>>>

3、下载器(Dowloader)：
用于下载网页内容, 并将网页内容返回给Engine，下载器是建立在twisted这个高效的异步模型上的

------>>>

4、爬虫(Spiders)：
SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求

------>>>

5、项目管道(Item Pipelines)：
在items被提取后负责处理它们，主要包括清理、验证、持久化（比如存到数据库）等操作
下载器中间件(Downloader Middlewares)位于Scrapy引擎和下载器之间，主要用来处理从Engine传到Downloader的请求request，已经从Downloader传到Engine的响应response。

------>>>

6、爬虫中间件(Spider Middlewares)：
位于Engine和SPIDERS之间，主要工作是处理Spiders的输入（即responses）和输出（即requests）

 Scrapy安装

windows安装命令：pip3 install scrapy

依赖项安装：

pip3 install lxml

pip3 install whee

pip3 install pyopenssl

依赖项如果已经安装的可以跳过

官网链接：ghttps://docs.scrapy.org/en/latest/topics/commands.htmlscrapy官网链接：ghttps://docs.scrapy.org/en/latest/topics/commands.html

scrapy框架使用及命令详解

常用命令

查看帮助

 scrapy -h
 scrapy <command> -h

 有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要

  Global commands

startproject #创建项目
genspider    #创建爬虫程序
settings     #如果是在项目目录下，则得到的是该项目的配置
runspider    #运行一个独立的python文件，不必创建项目
shell        #scrapy shell url地址  在交互式调试，如选择器规则正确与否
fetch        #独立于程单纯地爬取一个页面，可以拿到请求头
view         #下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
version      #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本

Project-only commands

crawl        #运行爬虫，必须创建项目才行，确保配置文件中ROBOTSTXT_OBEY = False
check        #检测项目中有无语法错误
list         #列出项目中所包含的爬虫名
edit         #编辑器，一般不用
parse        #scrapy parse url地址 --callback 回调函数  #以此可以验证我们的回调函数是否正确
bench        #scrapy bentch压力测试

对于爬虫而言，我们需要关心及常用的命令就三个：

startproject创建项目、 genspider创建爬虫程序、crawl启动爬虫

创建项目

手动新建一个“day23”的文件夹，进入Teminal终端

scrapy startproject Newspro  #Newspro是项目名称

回车执行后就会自动帮我“day23”的文件夹下创建Newspro

ps：这里项目名称如果写成News pro，day23下父级目录会叫pro，然后是子级目录News

文件目录：

文件说明：

● scrapy.cfg：项目的主配置信息，用来部署scrapy时使用，爬虫相关的配置信息在settings.py文件中。

● items.py：设置数据存储模板，用于结构化数据，如：Django的Model
● pipelines：数据处理行为，如：一般结构化的数据持久化
● settings.py：配置文件，如：递归的层数、并发数，延迟下载等。强调:配置文件的选项必须大写否则视为无效，正确写法USER_AGENT='xxxx'
● spiders：爬虫目录，如：创建文件，编写爬虫规则

创建爬虫程序

上一步Teminal终端中创建完项目之后，已经提示需要先cd Newspro，开始创建爬虫程序：

cd Newspro  #进入项目文件夹
scrapy genspider wangyi news.163.com/  #创建爬虫程序1

即告诉Teminal终端：

我要用scrapy框架，创建(genspider）一个叫"wangyi"的爬虫程序，"news.163.com/"是要爬取的url，可以省略https://

可以看到在Spiders文件夹下，就自动帮我们生成了一个"wangyi.py"的文件，并且文件中自动写好了一个类，以及一些配置参数。

当然如果是老手也可以自己手动创建模块，但是小白的话更推荐用命令创建，不然模块中少写了参数，就会导致一些bug……

另外需要注意：里面的parse方法，parse这个方法名不能改，这是框架自带的回调函数

再创建一个环球新闻网的模块：也自动生成了一个"huanqiu.py"的模块

模块中的域名默认是按照http进行拼的，如果不对，也可以手动改成https

 scrapy genspider huanqiu huanqiu.com

在做爬虫的时候，我们可能不止爬取一个网站，规范是：

将它们全部放在'Spiders'文件夹下，每一个要爬取的网站建立单独一个模块，然后在模块里完善具体的爬虫逻辑和解析逻辑。

完整的创建项目 -> 创建爬虫程序代码如下：

scrapy startproject Newspro  #Newspro是项目名称
cd Newspro                   #进入项目文件夹
scrapy genspider wangyi news.163.com  #创建爬虫程序1
scrapy genspider huanqiu huanqiu.com  #创建爬虫程序2

Spider类详解

Spiders是定义如何抓取某个站点（或一组站点）的类，包括如何执行爬行（即跟随链接）以及如何从其页面中提取结构化数据（即抓取项目）。

换句话说，Spiders是您为特定站点（或者在某些情况下，一组站点）爬网和解析页面定义自定义行为的地方。　

=====================================================================

① 生成初始的Requests来爬取第一个URLS，并且标识一个回调函数；

第一个请求定义在start_requests()方法内，默认从start_urls列表中获得url地址来生成Request请求，默认的回调函数是parse方法。回调函数在下载完成返回response时自动触发

parse不能改名，必须叫parse

------->>>

② 在回调函数中，解析response并且返回值
 返回值可以4种：
          包含解析数据的字典
          Item对象
          新的Request对象（新的Requests也需要指定一个回调函数）
          或者是可迭代对象（包含Items或Request）

------->>>

③ 在回调函数中解析页面内容
通常使用Scrapy自带的Selectors，但很明显你也可以使用Beutifulsoup，lxml或其他你爱用啥用啥。

------->>>

④ 最后，针对返回的Items对象将会被持久化到数据库
   通过Item Pipeline组件存到数据库：https://docs.scrapy.org/en/latest/topics/item-pipeline.html#topics-item-pipeline）
   或者导出到不同的文件（通过Feed exports：https://docs.scrapy.org/en/latest/topics/feed-exports.html#topics-feed-exports）

启动爬虫程序

获取网易新闻的html信息，修改添加"wangyi.py"模块中的代码：

import scrapy

class WangyiSpider(scrapy.Spider):
    name = "wangyi"
    # allowed_domains = ["news.163.com"]   #限制爬的域一定要在这个url之下，所以先注释
    start_urls = ["http://news.163.com/"]  #爬虫起始地址，可以放多个


    #回调函数，解析方法
    def parse(self, response):

        #windos系统记得写encoding="utf8"，不然写入的会是一个空文件
        with open("new163..html","w",encoding="utf8") as f: 
            f.write(response.text)

启动爬虫程序方式1：Teminal在终端输入以下代码

ls
scrapy crawl wangyi   #crawl启动的意思，后面跟上要启动的模块名

回车之后，会输出很多日志，日志跑完，就会出现一个"new163"的html文件，说明执行成功

html文件可以直接用浏览器打开，就是网页新闻的页面

如果不想看到这一堆日志，可以在启动文件的时候，加上--nolog

一般刚开始调试的时候不建议关闭日志，否则哪里写错了，也看不到报错信息

scrapy crawl wangyi -