Scrapy框架初级

Scrapy框架初级

Scrapy介绍

• 什么是scrapy
  Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取
  Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度
• 官方文档：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html
• 异步和非阻塞的区别
  异步：调用在发出之后，这个调用就直接返回，不管有无结果。
  非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程

Scrapy工作流程

另一种爬虫方式

scrapy工作流程

Scrapy engine（引擎）	总指挥：负责数据和信号的在不同模块间的传递
Scheduler（调度器）	一个队列，存放引擎发过来的request请求
Downloader（下载器）	下载把引擎发过来的request请求
Spider（爬虫）	处理引擎发来的response，提取数据，提取url，并交给引擎
Item Pipline（管道）	处理引擎传过来的数据，比如存储
Downloader Middlewares（下载中间件）	可以自定义的下载扩展程序，比如设置代理
Spider Middlewares（中间件）	可以自定义requests请求和进行response过滤

Scrapy入门

1 创建一个scrapy项目
scrapy startproject mySpider

2 生成一个爬虫
scrapy genspider demo "demo.cn"

3 提取数据
完善spider 使用xpath等

4 保存数据
pipeline中保存数据

命令中运行爬虫

scrapy crawl qb     # qb爬虫的名字

在pycharm中运行爬虫

from scrapy import cmdline

cmdline.execute("scrapy crawl qb".split())

pipeline使用

从pipline的字典形可以看出来，pipeline可以有多个，而且确实pipline能够定义多个
为什么需要多个pipeline：
1.可能会有多个spider，不同的pipeline处理不同的item的内容
2.一个spider的内容可以要做不同的操作，比如存入不同的数据库中

注意

1.pipeline的权重越小优先级越高
2.pipeline中process_item方法名不能修改为其他的名称

回顾

如何翻页

scrapy.Request知识点

scrapy.Request(url, callback=None, method='GET', headers=None, body=None,cookies=None, meta=None, encoding='utf-8', priority=0,
dont_filter=False, errback=None, flags=None)

常用参数为：
callback：指定传入的URL交给那个解析函数去处理
meta：实现不同的解析函数中传递数据，meta默认会携带部分信息,比如下载延迟，请求深度
dont_filter:让scrapy的去重不会过滤当前URL，scrapy默认有URL去重功能，对需要重复请求的URL有重要用途

item的介绍和使用

items.py

import scrapy

class TencentItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    position = scrapy.Field()
    date = scrapy.Field()

Scrapy log信息的认知

2019-01-19 09:50:48 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tencent)
2019-01-19 09:50:48 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.9.0