scrapy遇到的坑关于 scrapy发起请求和requests发起请求返回的数据不一样的问题 (发起的是request payload)

最新推荐文章于 2022-05-12 14:40:00 发布
置顶 最新推荐文章于 2022-05-12 14:40:00 发布
阅读量3.9k 收藏 1
点赞数 4
分类专栏： bug整理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lunhui951229/article/details/88718632
版权

在抓取携程的时候遇到一个问题  刚开始因为公司是内网的原因scrapy无法访问网站 已启动就是超时重连后来决定用requests来对携程进行采集

刚开始用requests进行采集的时候一点没有问题采集回来的数据如下

返回的数据一切正常但是使用scrapy就出现了问题出现的问题和如下:

可以看到返回的是聚是类似html类似的东西 解析起来比较麻烦后来找到问题所在:

在请求头中加入这个在跑了一遍

好了返回的数据正常啦,还是对scrapy和requests了解的不够多啊,以后多翻翻源码看看

爬虫小菜鸟
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
python使用scrapy发送post请求的坑
01-20
使用requests发送post请求 先来看看使用requests来发送post请求是多少好用，发送请求 Requests 简便的 API 意味着所有 HTTP 请求类型都是显而易见的。例如，你可以这样发送一个 HTTP POST 请求： >>>r = requests....
requests和scrapy请求同样的页面接口，返回的数据不一样问题
qq_38759383的博客
07-18 1156
requests和scrapy请求同样的页面接口，返回的数据不一样问题；实际是cookie要求传参的格式不一样
Scrapy爬虫入门教程十一 Request和Response（请求和响应）
inke的博客
03-10 2万+
Scrapy爬虫入门教程十一 Request和Response（请求和响应）
scrapy爬取到一个页面得到链接后再爬取该链接的页面
weixin_45669496的博客
11-16 4281
通过连接目录页面，爬取到目录中元素的跳转的超链接， 再分别连接到超链接，进行爬取 def start_requests(self): #self.init_urls() for url in self.urls: #连接第一个页面进行爬取数据 yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): #保存第二个页.
Scrapy response获取当前页url和url补全
寸草心的博客
04-09 1万+
获取当前页url url = response.body_as_unicode() 补全url url = response.urljoin(url) 这样就能在url前拼接上https:
scrapy中response和浏览器网页xpath不同的解决办法
yy的博客
10-22 3893
terminal中快速验证xpath是否正确无误在termianl中输入: # 网址的引号可加可不加,亲测;   scrapy shell "https://www.csdn.net/nav/ai" response.xpath("//*[@id='feedlist_id']/li[1]/div/div[2]/h2/a/text()").extract() view(response) ...
scrapy&request_异步数据爬取_scrapy_
10-02
Scrapy和Request是Python中两种常用的网络爬虫框架，它们都支持异步数据爬取，但各有特点。本文将深入探讨这两个工具在异步爬取中的应用及其优势。 首先，让我们了解一下什么是异步数据爬取。传统的同步爬虫在请求...
Scrapy-Redis结合POST请求获取数据的方法示例
12-26
很遗憾Scrapy官方并不支持多个同时采集一个站点，虽然官方给出一个方法： **将一个站点的分割成几部分 交给不同的scrapy去采集** 似乎是个解决办法，但是很麻烦诶！毕竟分割很麻烦的哇 下面就改轮到我们的额主角...
Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
01-20
本文实例讲述了Python使用scrapy采集数据时为每个请求随机分配user-agent的方法。分享给大家供大家参考。具体分析如下： 通过这个方法可以每次请求更换不同的user-agent，防止网站根据user-agent屏蔽scrapy的蜘蛛 ...
Scrapy框架：Request和Response对象，使用Request发送get请求、FormRequest发送post请求
旧人小表弟的博客 - 学习笔记
12-01 2650
创建爬虫 scrapy startproject renren cd renren scrapy gensipder -c crawl renren_login "renren.com" 修改settings.py代码 爬虫部分代码 # -*- coding: utf-8 -*- import scrapy ''' 登录人人网，访问大鹏页面 post、get请求 ''' class RenrenLoginSpider(scrapy.Spider): name = 'renren_
scrapy的response返回json格式数据处理
wto882dim的博客
03-13 7965
直接上代码就好 import json def parse_download(self, response): # 分析试听页面得到js Request URL: #　https://wwwapi.kugou.com/yy/index.php?r=play/getdata&callback=jQuery19106319223909447684_155...
Python爬虫（入门+进阶）学习笔记 2-6 Scrapy的Request和Response详解
kissazhu的博客
06-30 2971
上节课我们学习了中间件，知道了怎么通过中间件执行反反爬策略。本节课主要介绍Scrapy框架的request对象和response对象通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序Request类和Response类都有一些子类，子类用来添加基类中不必要的功能。这些在下面的请求子类和响应子类中描述...
scrapy不可以访问requests却可以
qq_37688480的博客
11-27 1073
scrapy不可以访问requests却可以，谁有类似的解决经验或者思路么·
Scrapy-发起相同请求得到不同的返回结果原因及解决方法
mrbone11的博客
03-04 2358
今天遇到一个玄学问题，使用相同的url，请求头headers，请求体data，在通过 >> requests.post(url,headers=headers,data=data) 请求的时候，响应没有问题，而在使用 >> r=scrapy.Request(url,method='POST',headers=headers,body=data) >> ...
Python爬虫从入门到精通:（31）sscrapy的手动请求发送（爬取多页）_Python涛哥
tao5090694的博客
10-13 397
我们之前用scrapy爬取过某网的段子，还记得怎么爬取吗？ 爬虫网站代码(spiders/duanzi.py)： import scrapy # 这里需要导入items.py文件包 from duanziPro.items import DuanziproItem class DuanziSpider(scrapy.Spider): name = 'duanzi' # allowed_domains = ['www.xxx.com'] start_urls = ['https:/
067、Scrapy常见问题
limengshi138392的博客
06-01 983
1. 描述下scrapy 框架运行的机制？ 从 start_urls 里获取第一批 url 并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理： 1. 如果提取出需要的数据，则交给管道文件处理； 2. 如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器...
使用scrapy做爬虫遇到的一些坑：爬虫使用scrapy爬取网页返回403错误大全以及解决方案
热门推荐
weixin_41931602的博客
05-04 3万+
今天学习scrapy爬取网络时遇到的一些坑的可能 正常情况：DEBUG: Crawled (200) <GET http://www.techbrood.com/> (referer: None) 错误情况：DEBUG: Crawled (403) <GET http://www.techbrood.com/> (referer: None) 一，网址的错误 一开始...
python爬虫之requests和Scrapy比较
大宇进阶之路的博客
12-17 2635
爬虫框架 *爬虫框架是实现爬虫功能的一个软件结构和功能组件集合 *爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫 Scrapy爬虫框架结构 "5+2"结构 Spiders（用户提供Url、以及解析内容）、Item pipelines（对提取的信息进行处理）模块需要用户编写（配置） 其他模块：Engine、Scheduler、Downloader模块已有实现，不需要用户进行修改 Engine：控制所有模块之间的数据流、根据条件触发事件，不需要用户修改 Downloader：根据请求下载网页，不
Scrapy爬虫遇到的问题
sankeshuxjh的博客
05-12 2650
今天做python爬虫时，之前可以爬取的网站网址显示： 爬取内容为空。 依次查找问题： （1）INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 报错提示Scrapy爬虫没有任何数据返回，需要修改settings.py设置文件中的ROBOTST_OBEY，将其默认值True改为False。 （2）[scrapy.downloadermiddlewares.redirect] DEBUG: Red.
为什么用yield scrapy.Request()调用方法得不到数据，反倒用requests可以
最新发布
05-31
`yield scrapy.Request()`是用于Scrapy框架中发送请求的，它不会直接返回数据。相反，它会将请求发送到Scrapy的引擎中，并且等待引擎返回响应。因此，如果您只使用 `yield scrapy.Request()` 调用方法，您将无法得到数据。 要获取数据，您需要在Scrapy的回调函数中处理响应。回调函数将在引擎接收到响应后自动调用。在回调函数中，您可以使用Scrapy提供的各种方法来提取数据。 另一方面，`requests`是一个Python库，用于发送HTTP请求并获取响应。它可以直接返回响应，因此您可以在使用`requests`发送请求后立即获取数据。 总结来说，`yield scrapy.Request()` 用于Scrapy框架中发送请求，需要在回调函数中处理响应获取数据，而 `requests` 是一个独立的Python库，可以直接返回响应。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值