在postman中使用raw纯文本格式发送POST请求成功而在python爬虫中发送POST请求失败

最新推荐文章于 2023-12-18 01:15:50 发布
最新推荐文章于 2023-12-18 01:15:50 发布
阅读量1.9k 收藏 1
点赞数
文章标签： python postman 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43864056/article/details/127679457
版权

在postman中是成功的

在这里插入图片描

url = "https://www.cnnvd.org.cn/web/homePage/cnnvdVulList"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
data = '{"keyword":"CVE-1999-0095"}'
res = requests.post(url=url,data= data,headers=headers)
print(res.text)

我查了很多资料，说raw是纯文本格式提交的，我又去看postman中的headers，查看content-Type中指定了格式

在这里插入图片描述

修改了爬虫中的headers

url = "https://www.cnnvd.org.cn/web/homePage/cnnvdVulList"
headers = {
    'Content-Type': 'application/json;charset=UTF-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
data = '{"keyword":"CVE-1999-0095"}'
res = requests.post(url=url,data= data,headers=headers)
print(res.text)

或者把data写出字典格式，再用json.dumps(data)转换一下

时光1999
关注
postman json 中写注释_postman图文讲解典藏版
weixin_39915171的博客
11-27 1万+
postman安装https://www.getpostman.com/ 本文内容较长，欢迎当做字典用，本文主要讲解postman的几个常用的技巧。单个接口测试管理多个接口抓取网络请求导入接口请求到postman方法生成请求时token断言接口请求批量执行多个接口请求其他单个接口测试单个接口，可以在Chrome浏览器里面直接通过开发者工具，然后选择copy as curl，然后在po...
python post payload 返回 400 bad request
xiangy0809的博客
08-12 3541
最近在实习的时候需要从elasticsearch上拉取日志数据进行统计分析。发送请求的方式为post, 请求的body以payload方式编码。一般情况下，payload是一个json对象，我们只需要调用response = requests.post(url='your url', data=json.dumps(payload), headers=header)即可，然而我的情况有点特殊，pa...
postman 成功，python requests 失败
u010537398的博客
11-28 7050
postmanpost请求 成功，python requestspost请求 失败 原来代码 r2=requests.post(url=url,data=params,headers=headers, verify=False, timeout=15) return r2 data参数改成json就可以了： r2=requests.post(url=url,json=params,headers=headers, verify=False, timeout=15) ret..
postman-raw格式传参（转载）
暖暖的博客
05-25 9570
post传参的时候，Boby选择raw格式，如下图 raw里只能使用json格式的数据进行传参，并且header里必须加上Content-Type的值为application/json，才能被后端接收到。 转载：使用postman的raw传参 - 知乎
Postman中raw是什么
思索的涟漪，突破自我
12-18 3289
在 Postman 中，当你选择 "raw" 选项后，你可以选择不同的数据格式，如 JSON、XML、HTML 等，并在编辑框中直接输入或粘贴你的原始数据。"Raw" 的选项允许你直接输入或粘贴原始的数据，例如 JSON、XML、HTML 或纯文本等。这对于向服务器发送特定格式的数据，如 JSON 格式的数据进行 POST 请求，是非常常见的。Postman 中，"raw" 表示请求体中的数据是原始的、未经过编码的数据。"raw" 选项的使用取决于你要发送的数据的类型和服务器的接受能力哈。
有些接口不需要在postman上进行关联也可以正常发送请求，但是写python脚本就无法实现自动关联
wuyouywe的博客
05-01 2428
场景： 用postman模拟更新用户个人信息时，不需要传入登录的任何信息，就可以请求更新个人信息这个接口成功，但是写python脚本就不行 原因是：postman在模拟登录和更新个人信息这几个接口的时候，是默认在同一个浏览器运行的，但是python写的代码中，一个post请求相当于打开一个浏览器，所以是针对两个不同的浏览器； 解决方法：就是从上个接口获取响应，关联到下个接口的请求中 ...
基于Python的Post请求数据爬取的方法详解
09-19
除了上述示例，我们还可以通过其他方式发送Post请求，例如在请求体中直接发送JSON格式的数据。 ```python import requests import json url = 'http://official-account/app/messages/group' body = {"type": ...
post_dog（类似于postman的软件[自己用pyqt5写的]）
07-09
3. **一键生成Python3爬虫脚本**：用户在完成一次请求配置后，可以一键将请求转换为Python3爬虫脚本。这使得开发者可以快速将测试用例转化为实际的爬虫任务，方便进一步的数据获取和分析。 4. **源码开放**：Post_...
python学习笔记：post和get请求写参数时，如何便捷加入引号和逗号（例如headers、data、params等参数）
weixin_45902977的博客
03-07 1582
答疑大纲 问题 解决代码 1.问题 学习爬虫时，在写post和get请求时，可以写入参数。 在写参数时，需要加入大量的单引号和逗号。 如果数据量大进行手动添加就会显得繁琐。 既然如此，如何能通过python来便捷地添加单引号和逗号呢？ 原生数据 comment: nihao aaaa submit: 发表评论 comment_post_ID: 13 comment_parent: 0 ` ...
scrapy爬虫涉及POST（PAYLOAD）的经历
qq_37974253的博客
04-08 619
@scrapy爬虫涉及POST（PAYLOAD）的经历 scrapy + postman 主要是用scrpay爬取网站的钢材成分和力学性能。 右键检查–抓包，如图可以看到发送了POST请求。 具体的payload 在scrapy框架下请求 url = "https://www.atsteel.com.cn/Home/GetMaterialSearchListNew" payload = json.dumps({ "hauxue1": "C", "hau
UIBOT调试时步入的快捷键_postman调试工具介绍及常用的快捷键收集
weixin_39989215的博客
11-13 324
关于Postmanpostman基础功能介绍使用postman进行接口自动化测试快捷键大全简单操作请求工具栏接口窗口数据编辑关于PostmanPostman是一款功能强大的网页调试与发送网页HTTP请求的Chrome插件，简单的说就是调试json和web请求的工具。用户在开发或者调试网络程序或者是网页B/S模式的程序的时候是需要一些方法来跟踪网页请求的，用户可以使用一些网络的监视工具比如著名的Fi...
postman请求正常，python请求报“服务端异常”
技术交流
06-23 4124
内部系统接口测试，使用postman请求正常返回，使用python requests访问各种异常，最后确认情况是，请求报文的类型不对，更换成 json类型就变好了，特此记录一下。 requests.post(url, json = data, headers = header） ...
Python接口测试之Postman详解（十一）
yyang3121的博客
05-18 1万+
 Postman为本地应用程序，要安装postman的方式有二种，第一种方式是以chrome浏览器插件的方式安装，需要到chrome官方应用商店才可以安装，在chrome://extensions中可查看已安装的插件。另外一种方式是直接到：https://www.getpostman.com下载，对应的平台分别为windows,mac,以及linux，可依据自己的平台来进行选择的安装。安装很简单，...
爬虫（五）：python中的POST的四种请求方式（编码格式）
Gym987的博客
02-24 5242
POST请求主要包含json格式、xml格式、文件上传（form-data）、及默认传递的urlencoded。 HTTP的报文结构： 1.请求行：请求方法、请求URL、HTTP协议版本三个部分 2.请求头：从第二行开始到倒数第二行都是我们的请求头（headers） 3.消息主体：截图的最后一样是请求体，也就是我们要发送数据的主体，消息主体 也就是说一个正常的post请求主要由请求行...
python接口请求post raw格式
热门推荐
fly_to_higher的博客
02-21 1万+
接口文档中写明接口请求方式为 post raw，python代码中的请求头中Content-Type应为application/raw，请求参数data是字典格式，故在post请求中用json.dumps()将参数转换成字符串...
postman使用raw的正确姿势
piu_zero的博客
01-15 1万+
首先要确保后台代码没问题 以下这几个地方一定要一一对应好 出现这个就是正确的 如果要是出现其他的，要么是上面那些标注的没有选择好，要么是和后台写的不对应，仔细看看一般都没问题 ...
python requests爬虫如何print http raw请求？
BigBoy_Coder的博客
12-09 906
1、前言   hello，各位码友，最近冷空气有点飕飕的，可得注意防寒，穿秋裤出来暖场，千万别取暖靠抖了。前面几篇咱们一直在selenium系列，咱们今天讨论一点其他的。   进入正题。大家一般都使用python的requests库进行爬虫开发，在很多情况下，我们代码写好了，运行起来总是得不到想要的结果，要么是headers字典里面少加了点特定的键值，要么是忘了带cookie，还有就干脆发送的数据body或者query string有问题。 2、问题   我们的问题在于如何记录原始的http请求，以
postman，10秒钟让你解决爬虫get问题，再也不为请求头而烦恼
Ariadna的博客
11-17 853
首先进入你要爬取的网站，F12或者ctrl+shift+c 上图刷新一下， 复制curl 然后打开postman 便会出现各类的请求代码。 这里我选择python的，
Google Trend爬虫爬取却一直出现429拒我于千里之外
weixin_43893696的博客
12-21 2011
话说街道任务需要获取google trend数据并按要求分析，当时感觉爬免费数据，估计没啥难度，上网搜了下，嘿！还有大神写好的现成的码，本想着这摸鱼之旅会十分快了，却不知拷过来的代码一运行，一个429频繁访问把我挡了回来… ​ 话说我这第一次访问哪里频繁，于是我感觉是代码没更新，可能出问题了，于是按大神思路先获取token然后获取数据的思路走下来，然后用postman一走通了，这回十成能拿下了，简单easy~ ​ 接下来只需要写成代码就好，然后一到自己的写的python爬起来就挂，通通429…绝望啊！！！这
HttpURLConnection实现Postman中以form-data参数发送post请求
最新发布
09-20
`HttpURLConnection`是Java标准库中的一个类，用于通过URL连接发送HTTP请求，包括POST请求，并支持发送表单数据（即form-data）。在Postman工具中，POST请求通常会携带键值对作为body的数据，而在Java中，你可以按照以下步骤使用`HttpURLConnection`来模拟这样的请求： 1. **创建URL对象**： 首先，你需要构造一个表示你要发送POST请求的URL。 ```java URL url = new URL("http://example.com/api/endpoint"); ``` 2. **创建HttpURLConnection对象并连接**： 创建`HttpURLConnection`实例，并设置连接方式为POST。 ```java HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setRequestMethod("POST"); ``` 3. **设置Content-Type和Content-Length**： 表示你将发送的是form-data内容，需要设置`Content-Type`头。 ```java connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded"); ``` 4. **准备POST数据**： 将表单数据转换为字节数组，这里假设有一个Map存储了键值对。 ```java StringBuilder postData = new StringBuilder(); for (Map.Entry<String, String> entry : yourFormData.entrySet()) { postData.append(entry.getKey()).append("=").append(URLEncoder.encode(entry.getValue(), "UTF-8")).append("&"); } String content = postData.toString().trim(); // 移除最后一个"&" byte[] formDataBytes = content.getBytes("UTF-8"); int length = formDataBytes.length; ``` 5. **设置POST数据**： 如果长度超过0，还需要设置`Content-Length`头，并写入POST数据。 ```java if (length > 0) { connection.setDoOutput(true); try (OutputStream outputStream = connection.getOutputStream()) { outputStream.write(formDataBytes); } } ``` 6. **发送请求并接收响应**： 发送请求，获取状态码，然后读取响应。 ```java int responseCode = connection.getResponseCode(); BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream())); String inputLine; StringBuilder responseBuilder = new StringBuilder(); while ((inputLine = in.readLine()) != null) { responseBuilder.append(inputLine); } // 关闭流 in.close(); ``` 7. **处理响应结果**： 根据`responseCode`判断请求是否成功，并解析返回的JSON（如果服务器返回的是json格式）。 ```java System.out.println("Response Code : " + responseCode); System.out.println(responseBuilder.toString()); ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值