scrapy的post请求返回400的问题

于 2023-07-20 10:26:49 发布
阅读量167 收藏
点赞数
文章标签： scrapy postman
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17126839/article/details/131824521
版权

解决方案如图，将请求头中的Host部分和Content-Length部分去掉问题解决，继续搬砖先不深究，length应该是会自己计算的 

提拉板儿跟大裤衩儿白头偕老
关注
记一个scrapy发送POST请求问题
蛐蛐的博客
09-10 676
1.问题 data= { 'keywords': None, 'channelId': 0, 'channel_id': 0, 'orderFlg': 1,#时间倒排 'pageNoCurrent': 1,#当前页码，从1开始 'isLockChannel': 0 } scrapy.FormRequest(url=self.base_url,formdata=
Python 使用 Scrapy 发送 post 请求的坑
墨鱼菜鸡
07-11 657
From：https://www.jb51.net/article/146769.htm 使用 requests 发送 post 请求 先来看看使用requests来发送post请求是多少好用，发送请求 Requests 简便的 API 意味着所有 HTTP 请求类型都是显而易见的。 例如，你可以这样发送一个 HTTP POST 请求： >&...
python使用scrapy发送post请求的坑
09-20
主要介绍了使用scrapy发送post请求的坑,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
在scrapy框架Header中使用Content-Length字段使爬虫返回400错误的问题
kekefen01的博客
10-13 4045
之前在抓一个网站Danaos的时候，发现能用requests和postman发送同样的header和payload的时候都能得到正确的结果，但是scrapy就会返回400错误，后来发现这是Twisted本身存在的问题，看了官网也没找到解决方法 spider文件在这里： class DanspiderSpider(scrapy.Spider): name = 'danspider' ...
scrapy返回400
Caiabcd的博客
06-23 703
爬虫 返回400
scrapy框架 POST请求报400错误
jianmoumou
04-06 417
scrapy框架 POST请求报400错误 最近使用scrapy post 经常出现400错误，经过排查，大部分原因是因为headers 里面有 content-length;去掉即可。
python scrapy框架 POST请求报400错误
qq_38164618的博客
10-06 905
headers = { 'Content-Type': 'application/json; charset=UTF-8', # host没有https:// 'Host': 'www.sasclouds.com' } 注意Host是没有http://等请求头的
scrapy post发送请求400状态码
Cocktail_py的博客
01-06 310
# 请求头注释掉Content-Length # 'Content-Length': '38' 参考:https://www.jianshu.com/p/ed3924385baf
scrapy post发送请求是报400响应码的问题
he_ranly的博客
01-18 1228
先说解决方法： 去掉你请求头中的 Content-Length 在scrapy的过程中发送请求的时候，你会发现特别是post请求很多时候会报400的错误，明明同样的请求在requests中能请求成功，你尝试了scrapy.Request, scrapy.http.Request, scrapy.FormRequest都还是报这个错误，于是开始怀疑scrapy是不是有问题。 是的，scrapy是有问题的，因为它在背后默默做了一些操作，不像requests那么简洁，很多时候post请求都是因为你的请...
scrapy post请求的问题
qq_29570381的博客
11-05 299
scrapy发送post请求 如果没有手动在请求头中添加content-type信息，scrapy会自动将Content-Type: application/x-www-form-urlencoded添加到请求头中 或者你手动设置在请求头中添加Content-Type: application/x-www-form-urlencoded, 以上情况，发送post请求，应该使用scrapy.For...
python发送post请求返回access denied_python使用scrapy发送post请求的坑
weixin_28836507的博客
12-23 1043
使用requests发送post请求先来看看使用requests来发送post请求是多少好用，发送请求Requests 简便的 API 意味着所有 HTTP 请求类型都是显而易见的。例如，你可以这样发送一个 HTTP POST 请求：>>>r = requests.post('http://httpbin.org/post', data = {'key':'value'})使用d...
Scrapy-Redis结合POST请求获取数据的方法示例
09-09
Scrapy-Redis默认使用GET请求来获取网页数据，但在某些情况下，我们需要使用POST请求来传递参数或数据。在Scrapy-Redis中，可以通过重写`make_request_from_data`方法来实现POST请求。 首先，在`settings.py`文件中...
python的request返回400_python - scrapy.Request请求地址返回400,但是用单独request模块请求同样的url返回正常...
weixin_28699741的博客
02-04 1443
一 问题描述用scrapy.Request()方法请求一个url地址，发现返回400错误，我检查了我不是被封ip，把请求链接直接copy到浏览器上，是可以正常显示结果的，单独用python的requests模块post请求同样的url地址，获得的是正常的返回，我就不明白了，是我scrapy.Request的里面格式错误了？二 代码展示scrapy的 spider文件，scrapy项目是用scrap...
scrapy 状态码400问题
qq_38759383的博客
05-22 756
scrapy 状态码400问题
python 内置浏览器robobrowser_python3_RoboBrowser_test
weixin_39787826的博客
12-05 469
python3_RoboBrowser_testselenium库作为交互是非常方便的，但是却大大加长了加载的时间，例如需要渲染网址，加载js，造成在爬虫过程中时间变长。因此找到一个虚拟的浏览器，同样具备selenium的部分功能，例如登陆，提交表单等，测试代码如下：# !/usr/bin/python3.4# -*- coding: utf-8 -*-from robobrowser impor...
scrapy发送post请求的两种方法,和scrapy返回400的处理方式
酒逢知己千杯少,欢迎驾临
01-04 679
https://blog.csdn.net/weixin_38819889/article/details/109106942 https://www.cnblogs.com/ceason/p/13935292.html 方法一 import scrapy class FySpider(scrapy.Spider): name = 'fy' # allowed_domains = ['www.baidu.com'] start_urls = ['https://fanyi.baid
关于使用scrapy绕过400状态码报错，停止爬取的方法
Alonelies的博客
10-26 1016
关于使用scrapy绕过400状态码报错，停止爬取的方法 我在爬起点小说网的时候，因为是扫网页，也就是一个一个去试，导致不可避免的会访问到400的请求 而scrapy在遇到400的状态码的时候会自动停止爬取，在爬虫文件中的parse方法里获取不到返回的信息 直接给你报错，然后终止爬虫工作，就很烦。。。 在网上找了好久，终于找到一个方法，能在获取到400后不停止，直接返回到爬虫文件的parse中的response 在settings.py中设置 # 忽略400报错，直接传入parse HTTPERROR_
利用Scrapy框架下载图片报400状态码
有关心情
08-06 1370
利用Scrapy框架爬伯乐在线的时候，涉及到图片下载，因为scrapy框架中有内置的图片下载文件，所以我没有另外写，而是直接使用。在settings.py中做了如下修改...
scrapy post请求问题
weixin_43863961的博客
08-05 376
某网站的表单信息有一个值为 (unable to decode value) headers中Content-Type: application/x-www-form-urlencoded 我以为是需要编码一下 from urllib.parse import urlencode data = {'name':'查询'} # 使用scrapy自带的post请求方法，将字典直接传入formdata，如果不设置headers Content-type默认的为'application/x-www-form-ur
scrapy中关于POST请求的问题
lemonguess的博客
07-29 517
首先谈一下常规情况，常规方法： #手动提交post class LoginSpider(scrapy.Spider): name = 'login' #allowed_domains = ['www.xxx.com'] start_urls = ['https://user.qzone.qq.com/137*****0'] def start_requests(self): #手动发送post请求 yield scrapy.FormRequest(u
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值