python 爬虫Scrapy框架入门

简单介绍Scrapy框架

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。
Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度。

异步和非阻塞的区别

异步：调用在发出之后，这个调用就直接返回，不管有无结果
非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程

Scrapy工作流程

第一种爬虫方式

第二种爬虫方式

Scrapy入门

1 创建一个scrapy项目
scrapy startproject mySpider

2 生成一个爬虫
scrapy genspider demo "demo.cn"

3 提取数据
完善spider 使用xpath等

4 保存数据
pipeline中保存数据

在命令中运行爬虫

scrapy crawl qb     # qb爬虫的名字

在pycharm中运行爬虫

from scrapy import cmdline

cmdline.execute("scrapy crawl qb".split())

pipline介绍和使用

从pipeline的字典形可以看出来，pipeline可以有多个，而且确实pipeline能够定义多个

为什么需要多个pipeline：

1 可能会有多个spider，不同的pipeline处理不同的item的内容

2 一个spider的内容可以要做不同的操作，比如存入不同的数据库中

注意：

1 pipeline的权重越小优先级越高

2 pipeline中process_item方法名不能修改为其他的名称

item的介绍和使用

items.py

import scrapy

class TencentItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    position = scrapy.Field()
    date = scrapy.Field()

Scrapy settings说明和配置

为什么需要配置文件：

配置文件存放一些公共的变量(比如数据库的地址，账号密码等)

方便自己和别人修改

一般用全大写字母命名变量名 SQL_HOST = ‘192.168.0.1’

Scrapy 下载中间件

下载中间件是scrapy提供用于用于在爬虫过程中可修改Request和Response，用于扩展scrapy的功能

使用方法：
编写一个Download Middlewares和我们编写一个pipeline一样，定义一个类，然后再settings中开启

Download Middlewares默认方法：
处理请求,处理响应,对应两个方法

process_request(self,request,spider):
    当每个request通过下载中间件时，该方法被调用

process_response(self,request,response,spider):
    当下载器完成http请求，传递响应给引擎的时候调用

process_request(request,spider)

当每个Request对象经过下载中间件时会被调用，优先级越高的中间件，越先调用；该方法应该返回以下对象：None/Response对象/Request对象/抛出IgnoreRequest异常

● 返回None：scrapy会继续执行其他中间件相应的方法；
● 返回Response对象：scrapy不会再调用其他中间件的process_request方法,也不会去发起下载,而是直接返回该Response对象
● 返回Request对象：scrapy不会再调用其他中间件的process_request()方法,而是将其放置调度器待调度下载
● 如果这个方法抛出异常,则会调用process_exception方法

process_response(request,response,spider)

当每个Response经过下载中间件会被调用，优先级越高的中间件，越晚被调用，与process_request()相反；该方法返回以下对象：Response对象/Request对象/抛出IgnoreRequest异常。

● 返回Response对象：scrapy会继续调用其他中间件的process_response方法；
● 返回Request对象：停止中间器调用，将其放置到调度器待调度下载；
● 抛出IgnoreRequest异常：Request.errback会被调用来处理函数，如果没有处理，它将会被忽略且不会写进日志。