Python爬虫报错 post表单提交处理

最新推荐文章于 2024-05-10 16:20:06 发布
最新推荐文章于 2024-05-10 16:20:06 发布
阅读量609 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41607190/article/details/99200169
版权

这次是post提交表单数据时报的错。

之前get方式提交时只要在url后面拼接数据就行了。
详细讲下post如何提交
1.表单数据要写成字典的格式（其实get和post都要）
2.用 urlencode（自己创建的表单字典）编码成字符串类型
3.后面接 encode() 变成二进制格式

也就是说提交要是二进制格式的！

form_data = urllib.parse.urlencode(form_data).encode()
InventorMAO
关注
专栏目录
[python 学习笔记] Django - 对POST表单的处理
GYK0812的博客
02-11 188
Step1： views.py中定义函数get_name from django.shortcuts import render from django.http import HttpResponse, HttpResponseRedirect from app1.form import PersonForm def get_name(request): if reque...
python处理post表单_python处理multipart/form-data的请求方法
weixin_39540934的博客
12-08 1870
方法1：import requestsurl = "http://www.xxxx.net/login"#参数拼凑,附件上传格式如picurl参数，其他表单参数值拼成tuple格式：2-tuples (filename, fileobj),3-tuples (filename, fileobj, contentype)，4-tuples (filename, fileobj, contentype...
python处理post表单_使用MultipartPostHandler使用Python POST表单数据
weixin_39844901的博客
12-03 148
Problem: When POSTing data with Python's urllib2, all data is URL encoded and sent as Content-Type: application/x-www-form-urlencoded. When uploading files, the Content-Type should instead be set to ...
python处理post表单_python – 使用Django处理POST字段数据而不使用表单(REST api)
weixin_42329480的博客
02-10 195
在django documentation年，它说：HttpRequest.POSTA dictionary-like object containing all given HTTP POST parameters, providing that the request contains form data. See the QueryDict documentation below. If y...
MultipartPostHandler python 表单文件post
01-18
MultipartPostHandler.py 模拟文件上传表单
python爬虫实现POST request payload形式的请求
09-17
Python爬虫实现POST请求，尤其是以request payload形式发送数据，是一种常见的网络抓取技术，尤其在处理需要提交复杂数据或模拟登录的场景中至关重要。在HTTP请求中，POST请求通常用于向服务器提交数据，而数据的...
Python爬虫 requests模块使用post方法提交表单
Hibiki's Ending
11-17 2万+
使用requests库中的post(url,params)方法,先通过观察表单的网页源代码,或者是通过逆向工程的方法获取表单提交的字段,构造参数params,就能实现模拟登录操作. 例如: url = 'http://xxx.com/login' captcha = input() params = { 'email': 'xxx@163.com', 'password': '*...
python爬虫常见报错_Python爬虫常见HTTP响应状态码详解
weixin_39865625的博客
11-28 1383
在使用Python进行网页数据抓取时，经常会遇到无数据返还或错误等异常，这个时候可以通过status_code命令来查看获得http请求返回的状态码，以便查找原因并制定相应的解决方案。import requestsr = requests.get("http://httpbin.org/get")r.status_code以下就是http请求返回状态码及对应的说明一、http请求返回状态码意义1、...
python爬虫中get和post方法介绍以及cookie作用
09-20
总之，理解GET和POST请求以及Cookie在Python爬虫中的应用是至关重要的。GET用于获取信息，POST用于提交数据，而Cookie则帮助维持会话状态。在实际操作中，应谨慎处理SSL证书问题，平衡安全性和实用性。
python中提交post表单_python接口自动化二（发送post请求）
weixin_39553753的博客
01-29 3827
前言一个http请求包括三个部分，为别为请求行，请求报头，消息主体，类似以下这样：请求行请求报头消息主体HTTP协议规定post提交的数据必须放在消息主体中，但是协议并没有规定必须使用什么编码方式。服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码，再对消息主体进行解析。具体的编码方式包括：application/x-www-form-urlencod...
python request post from 提交表单
darling331的博客
08-30 7660
前言 一个http请求包括三个部分，为别为请求行，请求报头，消息主体，类似以下这样： 请求行 请求报头 消息主体 HTTP协议规定post提交的数据必须放在消息主体中，但是协议并没有规定必须使用什么编码方式。 服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码，再对消息主体进行解析。 具体的编码方式包括： 最常见post提交数据的方式，以form表单...
python提交表单无效_Django:表单无效
weixin_33356324的博客
02-04 228
我目前正在努力使我的表格正常工作。我手动创建了表单(模板.html)当我用print调用它时，我可以看到所有的数据(请求.POST)(英寸)视图.py-结帐)但是表格有效吗()：(英寸)视图.py-结帐)不起作用。意思是我的表格无效。在我认为问题是，我手动创建了表单，并在验证数据后将其与模型表单组合在一起格式有效()保存在。你们谁能帮我解决我的问题，为什么它是无效的？在在模板.html在{% cs...
python requests处理post的三种参数格式
tianshuiyimo的博客
10-23 4294
HTTP post请求中，body有三种数据格式，处理方式如下： 1、application/json import requests,json url = 'http://www.test.com/login' data = {'user':'Tom','password':'123456'} jsondata=json.dumps(data) r =requests.post(url,jsondata) print(r) print(r.text) print(r.content) 2、appli
Python接口自动化测试之详解post请求
最新发布
2401_83014899的博客
05-10 2242
在HTTP协议中，与get请求把请求参数直接放在url中不同，post请求的请求数据需通过消息主体(request body)中传递。且协议中并没有规定post请求的请求数据必须使用什么样的编码方式，所以其请求数据可以有不同的编码方式，服务端通过请求头中的 Content-Type 字段来获知请求中的消息主体是何种编码方式，再以对应方式对消息主体进行解析。post请求参数常用的编码方式如下：application/x-www-form-urlencoded # form表单格式，非常常见。
Python需要提交表单爬虫
baidu_15113429的博客
11-27 1885
Python爬虫的时候需要提高表单，使用post提交表单的速度比较慢，因此可以先找到要提交的表单数据。 网址如下：https://www.hqms.org.cn/usp/roster/index.jsp打开网址查看源代码，发现只有<option value="7180">北京市</option> <op
从小白开始学python-网络爬虫三 （使用表单和post请求）
Enternalwiser的博客
08-11 550
python网络爬虫 使用表单和post请求 构造header
Python爬虫入门——3.3 表单交互 Post
lpp5406813053的博客
11-22 807
迄今为止，我们爬取的网页都是未登录状态下的网页信息，当我们想要获取登录之后的信息该怎么做呢？这时我们只需要使用requests库自带的post方法即可。使用post的过程比较简单，我们只需要构造讲一个字典，然后利用post上传到网页即可。使用方法如下： import requests params = { 'name':'xxx', 'passw...
python爬虫抓取为空，或者网页提示：很抱歉,我们目前暂时不支持 IE 浏览器...
weixin_42574045的博客
05-17 5168
Python爬虫抓不到内容、抓取的网页需要的字段是空的，怎么动态加载的内容
访问ECS服务器的网站提示“由于你访问的URL可能对网站造成安全威胁，您的访问被阻断”
热门推荐
一只不正经的程序猿的博客
04-20 8万+
问题描述 用户在访问ECS服务器上的网站时，提示如下错误： 解决方案 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。 如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。 如果您在云平台授权或者提交过登录账号、密码等安全信息，建议您及时修改。 这是由于云盾的应用防火墙对URL访问判定...
python爬虫提交表单
09-15
使用Python进行爬虫表单提交可以使用第三方库Requests。下面是一个简单的例子来说明如何使用Requests库进行表单提交： ```python import requests # 创建一个字典，包含表单数据 data = {'firstname': 'cck', 'lastname': 'Mi'} # 发送POST请求并传递表单数据 response = requests.post("http://pythonscraping.com/files/processing.php", data=data) # 打印响应内容 print(response.text) ``` 上述代码中，我们首先导入了Requests库，然后创建了一个字典`data`，包含要提交的表单数据。接下来，我们使用`post`方法发送POST请求，并传递表单数据作为参数。最后，我们通过`response`对象的`text`属性获取到响应内容，并打印出来。 请注意，这只是一个基本的例子，实际情况中可能需要处理更复杂的表单数据和请求头信息。Requests库提供了许多其他功能，比如处理Cookie、设置请求头等，可以根据需要进行进一步的学习和使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值