scrapy框架 POST请求报400错误

最新推荐文章于 2023-07-20 10:26:49 发布
最新推荐文章于 2023-07-20 10:26:49 发布
阅读量363 收藏 1
点赞数
分类专栏： python 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jianmoumou233/article/details/115466014
版权
python 同时被 3 个专栏收录
22 篇文章 0 订阅
订阅专栏
爬虫
14 篇文章 0 订阅
订阅专栏
scrapy
4 篇文章 0 订阅
订阅专栏

scrapy框架 POST请求报400错误


最近使用scrapy post 经常出现400错误，经过排查，大部分原因是因为headers 里面有 content-length;去掉即可。

jianmoumou233
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
在scrapy框架Header中使用Content-Length字段使爬虫返回400错误的问题
kekefen01的博客
10-13 3997
之前在抓一个网站Danaos的时候，发现能用requests和postman发送同样的header和payload的时候都能得到正确的结果，但是scrapy就会返回400错误，后来发现这是Twisted本身存在的问题，看了官网也没找到解决方法 spider文件在这里： class DanspiderSpider(scrapy.Spider): name = 'danspider' ...
yii框架 postman POST请求报错400
qq_32936067的博客
08-15 1688
查找原因 出现这个错误的原因是因为yii框架默认是开启了csrf验证 yii2的csrf的实现功能是在yii\web\request类实现功能的。 request类中的属性，默认是true的。 public $enableCsrfValidation = true; 所以我们在配置文件中的request组件中可以配置该值 request => [ ‘enableCook...
scrapy的post请求返回400的问题
qq_17126839的博客
07-20 110
解决方案如图，将请求头中的Host部分和Content-Length部分去掉问题解决，继续搬砖先不深究，length应该是会自己计算的。
scrapy post发送请求是报400响应码的问题
he_ranly的博客
01-18 1147
先说解决方法： 去掉你请求头中的 Content-Length 在scrapy的过程中发送请求的时候，你会发现特别是post请求很多时候会报400的错误，明明同样的请求在requests中能请求成功，你尝试了scrapy.Request, scrapy.http.Request, scrapy.FormRequest都还是报这个错误，于是开始怀疑scrapy是不是有问题。 是的，scrapy是有问题的，因为它在背后默默做了一些操作，不像requests那么简洁，很多时候post请求都是因为你的请...
scrapy返回400
Caiabcd的博客
06-23 664
爬虫 返回400
关于使用scrapy绕过400状态码报错，停止爬取的方法
Alonelies的博客
10-26 930
关于使用scrapy绕过400状态码报错，停止爬取的方法 我在爬起点小说网的时候，因为是扫网页，也就是一个一个去试，导致不可避免的会访问到400的请求 而scrapy在遇到400的状态码的时候会自动停止爬取，在爬虫文件中的parse方法里获取不到返回的信息 直接给你报错，然后终止爬虫工作，就很烦。。。 在网上找了好久，终于找到一个方法，能在获取到400后不停止，直接返回到爬虫文件的parse中的response 在settings.py中设置 # 忽略400报错，直接传入parse HTTPERROR_
python使用scrapy发送post请求的坑
09-20
在Python的Web爬虫开发中，Scrapy框架和requests库都是常用工具，它们在处理HTTP请求时各有特点。本文将重点讨论使用Scrapy发送POST请求时可能会遇到的问题以及与requests库的不同之处。 首先，让我们回顾一下...
scrapy-redis源码分析之发送POST请求详解
09-09
在标准的Scrapy框架中，发送POST请求相对简单，只需要重写`start_requests`方法并创建一个带有POST数据的`Request`对象。然而，Scrapy-Redis由于其特殊的工作机制，不直接支持发送POST请求，因为默认它仅从Redis中...
如何在django中运行scrapy框架
09-17
在Django中运行Scrapy框架是一项实用的技术，它允许开发者结合两个强大的Python工具，以便在一个统一的环境中进行数据抓取和Web应用开发。下面将详细解释如何实现这一目标。 首先，你需要创建一个新的Django项目。...
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现，旨在帮助学习者掌握这一领域的核心技能。 一、Python爬虫核心技术 Python语言因其简洁明了的语法和丰富的第三方库而成为网络爬虫...
C# 关于爬取网站数据遇到csrf-token的分析与解决
chinaherolts2008的博客
03-01 451
需求 某航空公司物流单信息查询，是一个post请求。通过后台模拟POST HTTP请求发现无法获取页面数据，通过查看航空公司网站后，发现网站使用避免CSRF攻击机制，直接发挥40X错误。 关于CSRF 读者自行百度 网站HTTP请求分析 Headers Form Data 在head里包含了cookie 与 x-csrf-token formdata 里包含了_csrf （与head里的值是一样的）. 这里通过查看该网站的JS源代码发现_csrf 来自于网c#教程页的head标签里 猜测cookie
玩转C#网页抓取
candice931020的博客
09-10 4783
网页抓取是通过自动化手段检索数据的过程。它在许多场景中都是不可或缺的，例如竞争对手价格监控、房地产清单列表、潜在客户和舆情监控、新闻文章或金融数据聚合等。 在编写网页抓取代码时，您要做出的第一个决定是选择您的编程语言。您可以使用多种语言进行编写，例如Python、JavaScript、Java、Ruby或C#。所有提到的语言都提供强大的网络抓取功能。 在本文中，我们将探索C#并向您展示如何创建一个真实的C#公共网络爬虫。请记住，即使我们使用C#，您也可以将此信息调整为.NET平台支持的所有语言，包括..
接口400错误解析
热门推荐
李蔚的博客
04-23 39万+
    今天我遇上一个让我很痛心的错误400。对程序员来说，这可能是一个最简单的错误码。因为这个相应并没有进拦截器，更没有进到Controller层。可我在解决这个问题时，质询了很多朋友不解，百度各种方案无效。苦苦耗费我大半天时间。        首先，遇到400问题，最大几率是出现了数据类型不一致的问题，简单来说是Controller层不用正确读取你发送请求附带的参数。该例是我前端传送JSON格...
scrapy发送post请求的两种方法,和scrapy返回400的处理方式
酒逢知己千杯少,欢迎驾临
01-04 647
https://blog.csdn.net/weixin_38819889/article/details/109106942 https://www.cnblogs.com/ceason/p/13935292.html 方法一 import scrapy class FySpider(scrapy.Spider): name = 'fy' # allowed_domains = ['www.baidu.com'] start_urls = ['https://fanyi.baid
scrapy 状态码400问题
qq_38759383的博客
05-22 696
scrapy 状态码400问题
scrapy post发送请求400状态码
Cocktail_py的博客
01-06 280
# 请求头注释掉Content-Length # 'Content-Length': '38' 参考:https://www.jianshu.com/p/ed3924385baf
ASP.NET Core 因为 Nginx 配置 Connection 为 Upgrade 导致 Kestrel 返回 400 错误
lindexi
01-29 2109
我今天遇到了一个坑，我的服务器在经过了 Nginx 之后，发送的 POST 请求，如果请求里面有 Body 内容，那么 Kestrel 将会返回 400 错误，同时也不会经过任何的中间件
Scrapy 遇到的小坑_关于payload参数_scrapy第一次发送POST请求
王小右的博客
04-15 6173
Scrapy框架第一发送POST请求遇到的小坑 前言： 爬取一个数据开发平台 悦采 网, 爬取上面的招标_采购信息。 要看解决方式的直接跳到最后 首先思路，分析网站，找规律，我感觉这个是重要的一步。 1.先看看网页结构，找规律。 我们发现只要找到这个url然后请求，进入详细页面，就找到想要的数据了。 开始找规律爬取数据 我们找到了别人的ap...
python scrapy框架 POST请求报400错误
qq_38164618的博客
10-06 841
headers = { 'Content-Type': 'application/json; charset=UTF-8', # host没有https:// 'Host': 'www.sasclouds.com' } 注意Host是没有http://等请求头的
scrapy发送post请求
最新发布
08-29
Scrapy 是一个用于爬取网页数据的 Python 框架，它主要基于 HTTP 请求来获取数据。要发送 POST 请求，你可以使用 Scrapy 提供的 FormRequest 类。 首先，确保你已经导入了 `scrapy` 和 `scrapy.FormRequest` 模块。然后，你可以在 Spider 的 `start_requests` 方法中创建一个 `FormRequest` 对象，并指定请求的 URL、表单数据和回调函数。下面是一个示例代码： ```python import scrapy from scrapy import FormRequest class MySpider(scrapy.Spider): name = 'my_spider' start_urls = ['http://example.com/login'] def start_requests(self): formdata = { 'username': 'your_username', 'password': 'your_password' } yield scrapy.FormRequest(url='http://example.com/login', formdata=formdata, callback=self.parse) def parse(self, response): # 处理响应数据 pass ``` 在上面的示例中，我们首先在 `start_urls` 中指定了登录页面的 URL。然后，在 `start_requests` 方法中创建了一个 `FormRequest` 对象，并设置了表单数据。最后，将该对象作为生成器返回，传递给 Scrapy 引擎进行处理。 当 Scrapy 引擎收到这个请求时，它会自动发送一个 POST 请求到指定的 URL，并将表单数据作为请求体发送。收到响应后，会调用 `parse` 方法来处理响应数据。 你需要根据实际情况修改代码中的 URL、表单数据和回调函数，以适应你要发送的 POST 请求。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值