爬虫大框架之 - Scrapy（四）

最新推荐文章于 2024-04-24 15:50:50 发布
最新推荐文章于 2024-04-24 15:50:50 发布
阅读量106 收藏
点赞数
分类专栏： Python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44038881/article/details/106732917
版权

Scrapy四

一，Request

  1. meta传参（实现不同回调方法之间数据的传递）][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0pGz4j8M-1592033249221)(assets/.png)]

  2. dont_filter不过滤（实现请求相同url不会被过滤）

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LHSseMrt-1592033249223)(assets/.png)]

  3. POST请求（进行模拟登陆）[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9KQOUa7f-1592033249226)(assets/.png)]

二，GitHub登录

  1. 抓包 最好是在无痕窗口（没有任何缓存和cookies数据）
  2. 分析登录的请求，哪些参数是固定的，哪些参数是变化的（多抓几次包对比提交的参数）
  3. 获取变化的参数，构造data数据包，用于POST请求提交

三，Response

  1. 源码[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3368ZRwV-1592033249228)(assets/.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bD69etP8-1592033249230)(assets/.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0YGL1wem-1592033249232)(assets/.png)]

四，日志使用

  1. 直接在回调函数里面写[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C9cDxBTY-1592033249236)(assets/.png)]

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aftDoJg2-1592033249239)(assets/.png)]

  2. setting.py 里面设置，全部储存在文件里

    LOG_FILE = "log.log"	# 储存的文件
LOG_LEVEL = 'DEBUG'		# 设置日志的等级（DEBUG文件很多）

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I1FP5ZEU-1592033249243)(assets/.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BYcYmGtY-1592033249246)(assets/.png)]

狄鸠
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 60万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python爬虫教程--Scrapy爬虫之旅
小马哥的博客
03-14 1442
Python，Scrapy，爬虫，爬虫框架
爬虫---scrapy爬虫框架（详细+实战）
热门推荐
lihaian的博客
08-01 3万+
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。...
Python爬虫--Scrapy框架安装
最新发布
余十步的博客
04-24 935
到这里 Scrapy 就安装结束了接下来开启新的爬虫之旅了！！
python爬虫框架----scrapy基础篇
qq_35249586的博客
06-03 2776
Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。本文主要讲述Scrapy爬虫工作流程以及创建scrapy爬虫项目。
Python爬虫---Scrapy框架---CrawlSpider
weixin_52053631的博客
01-28 1942
2. CrawlSpider可以定义规则，再解析html内容的时候，可以根据链接规则提取出指定的链接，然后再向这些链接发送请求，所以，如果有需要跟进链接的需求，意思就是爬取了网页之后，需要提取链接再次爬取，使用Crawlspider是非常合适的。6. restrict_xpaths = () ：xpath语法，提取符合xpath规则的链接。DB_CHARSET = "utf8" # 字符集，不允许写 -DB_NAME = "rbook" # 数据库名字。
Python的网络爬虫框架-Scrapy爬虫框架的使用
精益求精，永无止境，永远在路上！
07-10 1387
大家好我是小菜鸡，让我们一起学习Python的网络爬虫框架-Scrapy爬虫框架的使用（一起努力，咱们顶峰相见！！！）
python爬虫--Scrapy框架--Scrapy+selenium实现动态爬取
weixin_52044430的博客
04-13 3782
python爬虫–Scrapy框架 前言 框架结构 start -> 爬虫提交链接request给middlewares -> middlewares发送request给网页 -> middlewares发送response给爬虫 ->爬虫解析response返回的对象 -> pipeline存储数据 创建爬虫 cd <项目文件夹> scrapy startproject SpiderProjectName ... ... cd SpiderProjectName
Python爬虫-Scrapy框架的基本使用
qq_45846022的博客
06-06 733
Twisted‑20.3.0‑cp38‑cp38‑win_amd64.whl 这是python3.8的版本。我们想要爬虫中使用 xpath,Bs4,正则,css选择器等来提取想要的数据时,由于 Scrapy是一个重。就会进入到 scrapy的shell环境中,在这个环境中,你可以跟在爬虫的 parse方法中一样使用了。打开cmd终端,进入到 Scrapy项目所在目录,进入到 Scrapy框架所在的环境中,1.项目文件下的项目名下的py文件就是你要书写的爬虫文件。
爬虫-Scrapy框架（vscode）
qq_57620101的博客
01-25 2190
引擎 (engine):Scrapy的核心，所有模块的衔接，数据流程梳理。调度器 (scheduler):本质上这东西可以看成是一个队列，里面存放着一堆我们即将要发送的请求，可以看成是一个URL的容器。它决定了下一步要去爬取哪一个URL，通常我们在这里可以对URL进行去重操作。下载器 (downloader):它的本质就是用来发动请求的一个模块，完全可以把它理解成实现 get_page_source() 功能的模块，只不过它返回的是一个response对象。
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
python爬虫学习笔记-scrapy框架(2)
01-29
scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapy python爬虫学习 scrapy框架 爬虫学习 scrapypython爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy...
Python爬虫之路-scrapy爬虫框架课程
01-04
scrapy爬虫框架课程，包含全部课件与代码 课程纲要： 1.scrapy的概念作用和工作流程 2.scrapy的入门使用 3.scrapy构造并发送请求 4.scrapy模拟登陆 5.scrapy管道的使用 6.scrapy中间件的使用 7.scrapy_redis概念作用...
爬虫技术-Scrapy框架.pptx
01-01
Scrapy是一个强大的Python爬虫框架，专为爬取网站数据和提取结构化信息而设计。它提供了一整套高度可定制的架构，使得开发者可以专注于爬虫的核心逻辑，而无需关心底层的细节。Scrapy的优势在于其灵活性、高效性和...
基于Python的Scrapy爬虫框架与Scrapy-Redis分布式爬虫设计源码
04-06
本资源提供了一套基于Python的Scrapy爬虫框架与Scrapy-Redis分布式爬虫的设计源码，包含61个文件，其中包括51个Python源代码文件，7个配置文件，以及1个Git忽略文件。此外，还包括1个文本文件和1个Markdown文档。...
Pyexecjs-使用python执行JavaScript
weixin_44038881的博客
06-13 5594
Pyexecjs的使用 一，下载 pip install pyexecjs import execjs 二，使用 2.1，使用eval直接执行 import execjs print(execjs.eval('"abc aaa bbb".split(" ")')) ['abc', 'aaa', 'bbb'] # 调用变量名 text = execjs.compile(open(r'text.js').read()) print(text.eval('d')) 2.2，compile加载js，cal
IPython的使用(看这篇就够了)
weixin_44038881的博客
06-14 2573
一，IPython特点 提供用户一个更加友好的界面 提供代码补全，对象检查，系统调用，获取输入历史等等实用的功能 可嵌入程序用作解释器，这一特性可以用于排除bug，交互式处理，分析数据 允许快速画图，IPython支持GTK，Qt，WX等GUI程序 美化代码，对对象的输出格式进行调整 能够嵌入别的程序中 二，自动补全 IPython可以通过Tab键，搜索命名空间里面的对象(包括定义的变量名，内建函数名，关键字等) 访问私有属性或者私有方法，输入点后，输入下划线Tab[外链图片转存失败,源站可能有
加密算法(python实现)
weixin_44038881的博客
06-13 1514
加密算法 一，对称加密 1.0，简介 对称加密是指 数据加密 与 解密 使用相同的密钥。，数据的加密 主要功能：通常用于保证数据的机密性。 常用的加密算法： DES： Data Encryption Standard，秘钥长度为56位，2003年左右被破解–秘钥可以暴力破解。 3DES： DES的改进版本。 AES： Advanced Encryption Standard，支持的秘钥长度包括 128bits，192bits，258bits，384bits，512bits。 ※ ：密钥
工具 : 请求头|响应头转换josn对象
weixin_44038881的博客
06-13 1134
以下是我自己封装的一个小工具: 把网页中的原始 请求头|响应头 => 转换成Json文件 # !/usr/bin/env python # _*_ coding:utf-8 _*_ # author:Andermi 2019/1/15 20:42 """ header2Json.py =>把一个txt文件【请求头|响应头 字符串形式】转换成json文件【请求头|响应头 键值对形式】 文件A.txt : content-type: text/css ..
Python爬虫框架Scrapy详解
"Scrapy是Python开发的爬虫框架，其设计灵感来源于Django，具有灵活性高、功能强大的特点。Scrapy提供了丰富的文档，包括初学者指南、安装教程、基本概念介绍，如命令行工具、爬虫、选择器、Item、ItemLoader、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值