python3 scrapy框架,Python3爬虫（十八） Scrapy框架（二）

对Scrapy框架(一)的补充

Infi-chu:

Scrapy优点：

提供了内置的 HTTP 缓存 ，以加速本地开发 。

提供了自动节流调节机制，而且具有遵守 robots.txt 的设置的能力。

可以定义爬行深度的限制，以避免爬虫进入死循环链接 。

会自动保留会话。

执行自动 HTTP 基本认证 。 不需要明确保存状态。

可以自动填写登录表单。

Scrapy 有一个 内置的中间件 ， 可以自动设置请求中 的引 用( refeπer )头 。

支持通过 3xx 响应重定向 ，也可以通过 HTML 元刷新。

避免被网站使用的＜noscript> meta 重定向困住，以检测没有 JS 支持的页面 。

默认使用 css 选择器或 XPath 编写解析器。

可以通过 Splash 或任何其他技术(如 Selenium ) 呈现 JavaScript 页面。

拥有强大的社区支持和丰富 的插件和扩展来扩展其功能 。

提供了通用的蜘蛛来抓取常见的格式 ： 站点地图、 csv 和 XML。

内置支持以多种格式 CJSON 、 csv 、 XML、 JSON-lines )导出收集的数据并将其存储

在多个后端( FTP , S3 、本地文件系统)中。

Scrapy工作流程：

1.引擎打开一个网站( open a domain ) ，找到处理该网站的 Spider 并向该 Spider 请求第

一个要爬取的URL(s)。

2.引擎从 Spider 中 获取第一个要爬取的 URL 并在调度器( Scheduler )中以 Request

调度 。

3.引擎向调度器请求下 一个要爬取的 URL 。

4.调度器返回下一个要爬取的 URL 给引擎，引擎将 URL 通过下载中间件(请求( request)

方向)转发给下载器( Downloader )。

5.一旦页面下载完毕，下载器生成一个该页面的 Response ，并将其通过下载中间件(返回 ( Response)方向)发送给引擎。

6.引擎从下载器中 接收 Response 并通过 Spider 中间件(输入方向)发送给 Spider 处理 。

7. Spider 处理 Response 井返回爬取到的 Item 及(跟进的)新的 Request 给引擎。

8.引擎将( Spider 返回的)爬取到的 Item 给 Item Pipeline ，将( Spider 返回的) Request

给调度器。

9. (从第 2 步)重复直到调度器中没有更多的 Request，引擎关闭对该网站 的执行进程。

scrapy各组件功能：

1.引擎

引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。它也是程序的入口，可以通过 scrapy 指令方式在命令行启动，或者通编程方式实例化后调用 start 方法启动。

2.调度器

调度器从引擎接收爬取请求并将它们入队，以便之后引擎请求它们时提供给引擎。一般来说，我们并不需要直接对调度器进行编程，它是由 Scrapy 主进程进行自动控制的。

3.下载器

下载器负责处理产生最终发出的请求对象 Request 并将返回的响应生成 Response对象传递给蜘蛛。

4. Spiders

Spider 是用户编写用于分析响应结果并从中提取 Item或额外跟进的 URL 的类。每个 Spider 负责处理一个特定网站。

5.数据管道

Item Pipeline 负责处理被 Spider 提取出来的 Item。典型的处理有清理、验证及持久化。

6.下载器中间件

下载器中间件是在引擎及下载器之间的特定钩子( specific hook )，处理 Downloader传递给引擎的 Response。其提供了 一个简便的机制，通过插入自定义代码来扩展 Scrapy 的功能。

7. Spider中间件

Spider 中间件是在引擎及 Spider 之间的特定钩子( specific hook )，处理 Spider 的输入( Response )和输出(Items 及 Requests )。其提供了一个简便的机制，通过插入自定义代码来扩展 Scrapy 的功能。

Scrapy基本操作：

安装

pip install scrapy

【Windows版注意事项】

环境要求：需要Microsoft Visual C++ 14.0 或以上版本

基本操作命令

# 创建爬虫项目

scrapy startproject 项目名

# 创建蜘蛛

scrapy genspider 文件名 爬取网站的域名

# 启动爬虫

scrapy crawl 文件名

数据模型Item

官方定义：爬取的主要目标就是从非结构的数据源中提取结构性数据，如网页。Scrapy提供Item类来满足这样的需求。Item对象是一种简单的容器，保存了爬取到的数据。其提供了类似于词典的API，以及用于声明可用字段的简单语法。

声明Item：Item使用简单的class定义语法和Field对象来进行声明。

Item字段(Item Fields)：Field对象指明了对每个字段的元数据。

蜘蛛Spider

定义：Spider定义了爬取的动作以及分析某个网页的地方

Spider内部循环顺序：

1.以最初的URL初始化request，并设置回调函数。当该request下载完毕并返回时，生成response，并作为参数传给该回调函数。Spider中初始的request是通过调用start_requests()来获取的。此函数会读取其中的URL，并以parse为回调函数生成request。

2.在回调函数中分析返回的内容，返回Item或者一个包括二者的可迭代容器。返回的request对象之后会经过scrapy处理，下载相应的内容，并调用设置的callback函数。

3.在回调函数中，可以使用选择器或其他的解析器卡来进行页面分析，并根据分析的数据生成Item

4.由Spider返回的Item将被存放到数据库(由某些Item Pipeline处理)或者使用Feed exports保存到文件中。

管道Item Pipeline

定义：当Item在Spider中被收集之后，他将被传递到此管道中，一些组件会按照一定的顺序对Item进行处理。

作用：

1.清理HTML数据

2.验证爬取的数据(检查Item包含某些字段)

3.去重

4.将爬取结果保存到数据库中。

实质：输入/输出

分类：

1.过滤性管道

2.加工性管道

3.存储性管道

第三百三十五节，web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码

第三百三十五节,web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码 打码接口文件 # -*- coding: cp936 -*- import sys import os ...

第三百三十四节，web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息

第三百三十四节,web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻,爬取Ajax动态生成的信息 crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻rul地址 有多 ...

第三百三十三节，web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies

第三百三十三节,web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录 模拟浏览器登录 start_requests()方法,可以返回一个请求给爬虫的起始网站,这个返回的请求相当于star ...

Python爬虫进阶之Scrapy框架安装配置

Python爬虫进阶之Scrapy框架安装配置 初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此 ...

NeHe OpenGL教程 第十八课：二次几何体

转自[翻译]NeHe OpenGL 教程 前言 声明,此 NeHe OpenGL教程系列文章由51博客yarin翻译(2010-08-19),本博客为转载并稍加整理与修改.对NeHe的OpenGL管线 ...

第三百三十二节，web爬虫讲解2—Scrapy框架爬虫—Scrapy使用

第三百三十二节,web爬虫讲解2—Scrapy框架爬虫—Scrapy使用 xpath表达式 //x 表示向下查找n层指定标签,如://div 表示查找所有div标签 /x 表示向下查找一层指定的标签 ...

第三百三十一节，web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令

第三百三十一节,web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令 Scrapy框架安装 1.首先,终端执行命令升级pip: python -m pip install --u ...

爬虫(十五)：Scrapy框架(二) Selector、Spider、Downloader Middleware

1. Scrapy框架 1.1 Selector的用法 我们之前介绍了利用Beautiful Soup.正则表达式来提取网页数据,这确实非常方便.而Scrapy还提供了自己的数据提取方法,即Selec ...

十二 web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies

模拟浏览器登录 start_requests()方法,可以返回一个请求给爬虫的起始网站,这个返回的请求相当于start_urls,start_requests()返回的请求会替代start_urls里 ...

十 web爬虫讲解2—Scrapy框架爬虫—Scrapy安装—Scrapy指令

Scrapy框架安装 1.首先,终端执行命令升级pip: python -m pip install --upgrade pip2.安装,wheel(建议网络安装) pip install wheel ...

随机推荐

浅谈Collection集合

俗话说:一个东西,一件事都离不开三句话:"是什么,为什么,怎么办" 集合是什么: 集合简单的说一个数组集合的高级体现,用来存储数据或对象的容器: 集合为什么存在: 集合只是体现了对 ...

LeetCode刷题系列

LeetCode 我们工作面试和提高自身数据结构和算法能力的时候往往需要刷刷题,我选择LeetCode是通过一个留学论坛了解的.专业,覆盖语种全面. 提前说说刷题的心得: 尽量手写代码,少使用IDE的 ...

sftp上传 - 待完

1.搭建本地sftp 1.1.下载msftpsrvr.exe软件 下载地址:http://www.download3k.com/Install-Core-FTP-Mini-SFTP-Server.ht ...

数学 --- 高斯消元 POJ 1830

开关问题 Problem's Link: http://poj.org/problem?id=1830 Mean: 略 analyse: 增广矩阵:con[i][j]:若操作j,i的状态改变则con[ ...

2.solr学习速成之安装

1.下载解压solr-5.3.1.tgz [root@205 opt]# tar -zxf solr-5.3.1.tgz -C /opt/module/ 2.将solr-5.3.1/server/so ...

(jQuery知识点整理-含有选择器)

第一单元                                       jQuery介绍:   javaScript ...

关于Rabbitmq的routingkey的作用

对于消息发布者而言它只负责把消息发布出去,甚至它也不知道消息是发到哪个queue,消息通过exchange到达queue,exchange的职责非常简单,就是一边接收发布者的消息一边把这些消息推到qu ...

sqlserver存储过程sp_send_dbmail邮件(html)实际应用

前段时间因工作需求,特地学习了下sp_send_dbmail的使用,发现网上的示例对我这样的菜鸟太不友好/(ㄒoㄒ)/~~,好不容易完工来和大家分享一下,不谈理论,只管实践! 如下是实际需求: -- ...

IIS Asp.Net 访问 Com组件 报拒绝访问

IIS Asp.Net 访问 Com组件 报拒绝访问 解决方法: IIS 程序池->高级设置->进程模式->标识->内置帐户=LocalSystem