爬虫大框架之 - Scrapy（三）

最新推荐文章于 2024-04-24 15:50:50 发布
最新推荐文章于 2024-04-24 15:50:50 发布
阅读量153 收藏
点赞数
分类专栏： Python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44038881/article/details/106732813
版权

Scrapy三

一，CrawlSpider

通过定义一组规则，为跟踪连接提供非常便利的机制

  1. 创建CrawlSpider：scrapy genspider -t crawl weather.spider www.weather.com.cn

    ​ 关键字 关键字 爬虫类 爬虫名 爬取的网页域名

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vy02fSDA-1592032915684)(assets/.png)]

  2. Rule

    Rule 用来定义CrawlSpider的爬取规则

    源码：

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1LMrJoxQ-1592032915688)(assets/.png)]

  3. LinkExtractor

    从web页面中提取最终将被跟踪的连接，可以自己定义，必须要有extract_links方法

    源码：

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-la2kZKpD-1592032915690)(assets/.png)]

    LinkExtractor的使用（重要）

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q1Ckqn1x-1592032915693)(assets/.png)]

    xpath的使用

    # 限制 re 的匹配范围
二，CrawlSpider运行流程

  1. 基类Spider

    start_urls 生成初始的Requests请求

    下载器返回response

    response交给回调函数进行处理

    返回items和Request(接着请求->处理)

  2. CrawlSpider

    start_urls 生成初始的Requests请求

    下载器返回response

    response交给rules进行规则匹配，匹配出复合规则的url进行请求

    回调函数对response进行解析，字段在这里插入图片描述

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QJIsV2N2-1592032915697)(assets/.png)]

三，scrapy去重机制

start_url 里面的url是不会有去重机制的，如果重复访问一个网站，访问过一次就不会访问再访问了，但是如果url在start_url里面出现，是不会被过滤的，最多只会被请求两次（使用dont_filter=True这个参数不会对该url进行过滤，比如用在登录）

狄鸠
关注
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 63万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python爬虫学习笔记-scrapy框架(2)
01-29
scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapypython爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy...
scrapy CrawlSpider
weixin_30399055的博客
01-10 138
Scrapy Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。...
爬虫---scrapy爬虫框架（详细+实战）
热门推荐
lihaian的博客
08-01 3万+
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。...
Python爬虫--Scrapy框架安装
最新发布
余十步的博客
04-24 1328
到这里 Scrapy 就安装结束了接下来开启新的爬虫之旅了！！
python爬虫框架----scrapy基础篇
qq_35249586的博客
06-03 2921
Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。本文主要讲述Scrapy爬虫工作流程以及创建scrapy爬虫项目。
Python的网络爬虫框架-Scrapy爬虫框架的使用
精益求精，永无止境，永远在路上！
07-10 1487
大家好我是小菜鸡，让我们一起学习Python的网络爬虫框架-Scrapy爬虫框架的使用（一起努力，咱们顶峰相见！！！）
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
爬虫大框架之 - Scrapy（四）
weixin_44038881的博客
06-13 113
一，Request meta传参（实现不同回调方法之间数据的传递） dont_filter不过滤（实现请求相同url不会被过滤） POST请求（进行模拟登陆） 二，GitHub登录 抓包 最好是在无痕窗口（没有任何缓存和cookies数据） 分析登录的请求，哪些参数是固定的，哪些参数是变化的（多抓几次包对比提交的参数） 获取变化的参数，构造data数据包，用于POST请求提交 三，Response 源码 四，日志使用 直接在回调函数里面写 setting.py 里面设置，
mini-scrapy:基于gevent的mini-scrapy爬虫框架
05-04
**迷你Scrapy（mini-scrapy）：基于Gevent的轻量级爬虫框架** 迷你Scrapy（mini-scrapy）是一个简化版的Scrapy框架，它借鉴了Scrapy的设计理念，并利用Gevent库来实现高效的并发处理。这个项目是半成品，意味着它...
爬虫大框架之 - Scrapy（二）
weixin_44038881的博客
06-13 129
Scrapy二 1，Scrapy shell shell == ipython，ipython是一个增强版的python解释器，可以在 setting.py 里面设置 进入shell方式 直接在项目根目录：scrapy shell [url], 这里的url指的就是你想爬取的网址，可不写 命令添加请求头 (Spiderenv) pyvip@VIP:~/code/爬虫/myspider$ scrapy shell -s USER_AGENT='Mozilla/5.0 (Windows NT
实验楼之Python网络爬虫实战--Scrapy框架学习
03-22
实验楼出品的Python网络爬虫实战（Scrapy框架），喜欢python爬虫的童鞋可以看看。
Pyexecjs-使用python执行JavaScript
weixin_44038881的博客
06-13 5752
Pyexecjs的使用 一，下载 pip install pyexecjs import execjs 二，使用 2.1，使用eval直接执行 import execjs print(execjs.eval('"abc aaa bbb".split(" ")')) ['abc', 'aaa', 'bbb'] # 调用变量名 text = execjs.compile(open(r'text.js').read()) print(text.eval('d')) 2.2，compile加载js，cal
IPython的使用(看这篇就够了)
weixin_44038881的博客
06-14 2604
一，IPython特点 提供用户一个更加友好的界面 提供代码补全，对象检查，系统调用，获取输入历史等等实用的功能 可嵌入程序用作解释器，这一特性可以用于排除bug，交互式处理，分析数据 允许快速画图，IPython支持GTK，Qt，WX等GUI程序 美化代码，对对象的输出格式进行调整 能够嵌入别的程序中 二，自动补全 IPython可以通过Tab键，搜索命名空间里面的对象(包括定义的变量名，内建函数名，关键字等) 访问私有属性或者私有方法，输入点后，输入下划线Tab[外链图片转存失败,源站可能有
加密算法(python实现)
weixin_44038881的博客
06-13 1565
加密算法 一，对称加密 1.0，简介 对称加密是指 数据加密 与 解密 使用相同的密钥。，数据的加密 主要功能：通常用于保证数据的机密性。 常用的加密算法： DES： Data Encryption Standard，秘钥长度为56位，2003年左右被破解–秘钥可以暴力破解。 3DES： DES的改进版本。 AES： Advanced Encryption Standard，支持的秘钥长度包括 128bits，192bits，258bits，384bits，512bits。 ※ ：密钥
工具 : 请求头|响应头转换josn对象
weixin_44038881的博客
06-13 1172
以下是我自己封装的一个小工具: 把网页中的原始 请求头|响应头 => 转换成Json文件 # !/usr/bin/env python # _*_ coding:utf-8 _*_ # author:Andermi 2019/1/15 20:42 """ header2Json.py =>把一个txt文件【请求头|响应头 字符串形式】转换成json文件【请求头|响应头 键值对形式】 文件A.txt : content-type: text/css ..
爬虫-滑动验证码解决方案
weixin_44038881的博客
06-13 958
滑动验证码 思路 通过对比两张图像素点，找出缺口的位置，得到需要移动的 X 坐标 获取两张图片 计算缺口的位置，得到 x 坐标 模拟滑动的轨迹 通过selenium模拟滑动的过程 案例一 # !/usr/bin/env python # _*_ coding:utf-8 _*_ # author:满怀心 2019/8/20 12:26 """ # code is far away from bugs with the god animal protecting I love animals.
爬虫-字符验证码解决方案
weixin_44038881的博客
06-13 802
字符型验证码 一，字符验证码简介 1.什么是验证码 在开发爬虫的过程中会遇到一种常见的反爬措施，验证码。验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。 2.验证码种类 图形验证码：这类验证码大多是计算机随机产生一个字符串，在把字符串增加噪点、干扰线、变形、重叠、不同颜色、扭曲组成一张图
爬虫基础(1)：爬取你的第一张图片
weixin_44038881的博客
06-02 704
import socket import re # 创建一个socket client = socket.socket() # 图片URL img_url = 'http://pic.netbian.com/uploads/allimg/190518/111817-1558149497aa83.jpg' # 编写Http请求报文 data = 'GET /uploads/allimg/190518/111817-1558149497aa83.jpg HTTP/1.1\r\nHost: pic.netbian
爬虫基础(2) - urllib3库的使用
weixin_44038881的博客
06-02 645
urllib库的使用 一，urllib库 -简介 urllib 是一个用来处理网络请求的 python 标准库，包含四个模块 -urllib.request模块 主要负责 构造和发起 网络请求，并在其中添加Headers，Porxy等 request.urlopen 方法 会返回一个 response 对象 urllib.request.urlopen( ​ url, ​ data=None, ​ [timeout,]*, ​ cafile=None, ​ capath=None,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值