python爬虫 urllib模块发起post请求过程解析

最新推荐文章于 2024-04-01 13:51:30 发布
最新推荐文章于 2024-04-01 13:51:30 发布
阅读量2.7k 收藏 8
点赞数
分类专栏： python 教程 文章标签： python 编程语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoxun07/article/details/104467239
版权

urllib模块发起的POST请求

案例：爬取百度翻译的翻译结果
1.通过浏览器捉包工具，找到POST请求的url
针对ajax页面请求的所对应url获取，需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求，所对应的url

点击clear按钮可以把抓包工具，所抓到请求清空
在这里插入图片描述
然后填上翻译字条发送ajax请求，红色框住的都是发送的ajax请求
在这里插入图片描述
抓包工具All按钮代表 显示抓到的所有请求 ，包括GET、POST请求 、基于ajax的POST请求
XHR代表 只显示抓到的基于ajax的POST请求
在这里插入图片描述
哪个才是我们所要的基于ajax的POST请求，这个POST请求是携带翻译字条的苹果请求参数
在这里插入图片描述
再看看这个POST请求 对应的请求URL ，这个URL是我们要请求的URL

最低0.47元/天 解锁文章
进阶程序员阿福
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫开发之urllib模块详细使用方法与实例全解
09-17
Python的urllib模块是进行网络数据获取的重要工具，尤其在Python爬虫开发中扮演着核心角色。它在Python 2.x和3.x中有所变化，但核心功能保持一致，为开发者提供了网页请求、URL解析、代理和cookie设置、异常处理以及...
python 发送post请求
lyyiangang的博客
12-11 7996
python post请求例子
Python接口自动化测试之详解post请求
weixin_67553250的博客
11-02 1万+
在HTTP协议中，与get请求把请求参数直接放在url中不同，post请求的请求数据需通过消息主体(request body)中传递。 且协议中并没有规定post请求的请求数据必须使用什么样的编码方式，所以其请求数据可以有不同的编码方式，服务端通过请求头中的 Content-Type 字段来获知请求中的消息主体是何种编码方式，再以对应方式对消息主体进行解析。
Python爬虫 —— urllib库的使用（get/post请求+模拟超时/浏览器）
weixin_55154866的博客
09-09 3271
网络爬虫就是按照一定规则，自动抓取互联网信息的程序或脚本，由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析就是爬虫要做的工作为什么我们把它称为爬虫（Spider）嘞？互联网就像是一张大网，而每一个网页就是这张大网上的每一个结点，这些结点间的通信和跳转通过链接来实现，而这个链接就是互联网这张大网上结点之间的连线，爬虫到达一个结点就意味着可以爬取这个页面的信息，当爬虫顺着这些连线（链接）爬向不同的结点（网页）时，就可以爬取到整个网站的信息。
Python urllib.request.Request发送GET请求、POST请求（带Headers）
XerCis的博客
04-13 8026
1.结合Request()和urlopen()传Headers；2.get请求需手动拼接并使用quote()对中文处理；3.post请求直接转发即可
python urllib post_python爬虫第1章 urllib库（二） urllib发送post请求
weixin_30877689的博客
03-01 585
python爬虫第1章 urllib库(二) urllib发送post请求一、构建请求对象Request先看看python urllib默认的请求头：import urllib.requesturl = r"http://www.baidu.com"response = urllib.request.urlopen(url)print(response.read())执行上面代码，使用Charle...
python发送post请求总结
weixin_42302837的博客
05-16 1159
data参数支持字典格式和字符串格式，建议使用字典格式，在使用json.dumps()方法把data转换为合法的json格式字符串，或者将data参数赋值给post方法的json参数。发送post请求分为表单类（x-www-form-urlencoded）和json（application/json）格式。1、必须是json格式字符串，必须用双引号，k-v之家必须有逗号，布尔值必须是小写的true/false。（2）将字典格式的data数据赋给post方法的json参数。2、json类型的post请求。
Python大数据之网络爬虫的post请求、get请求区别实例分析
09-18
在Python中，我们可以使用`urllib2.Request`和`urllib.urlencode`来构造POST请求。 示例代码如下： ```python import urllib import urllib2 # 构造POST请求 params = {'account': 'jredu', 'pwd': ''} # ...
python爬虫之urllib3的使用示例
12-24
Urllib3提供了很多python标准库urllib里所没有的重要特性： 线程安全 连接池 客户端SSL/TLS验证 文件分部编码上传 协助处理重复请求和HTTP重定位 支持压缩编码 支持HTTP和SOCKS代理 一、get请求 urllib3主要...
Python 两种POST请求的方式
Hi~ o(*￣▽￣*)ブ
06-07 4万+
#方式1: urllib2 urllib 以表单的形式提交POST数据 #Exp: username=zcs&password=123 import urllib2 import urllib data = {'username': 'rose', 'password': '123456'} f = urllib2.urlopen( url='http://IP:POR
Python接口自动化 —— 发送post请求的接口（详解）
m0_58026506的博客
10-12 2376
上篇介绍完发送get请求的接口，大家必然联想到发送post请求的接口也不会太难，被聪明的你又猜到了。答案是对的，虽然发送post请求的参考例子很简单，但是实际遇到的情况却是很复杂的，因为所有系统或者软件、网站都是从登录开
python教程：requests-post请求四种传送正文方式
最新发布
X7gUWZnYP的博客
04-01 846
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费。
python3网络爬虫一《使用urllib.request发送请求》
热门推荐
软件测试技术的博客
10-23 7万+
python 爱好者交流群：810306356 这里有很多像你一样的伙伴，共同分享学习python的经验！ 使用urllib 在Python2版本中，有urllib和urlib2两个库可以用来实现request的发送。而在Python3中，已经不存在urllib2这个库了，统一为urllib。Python3 urllib库官方链接 https://docs.pytho...
python3使用urllib3进行请求的getpost例子
liukai6的博客
10-29 6671
post请求的例子 import urllib3 import json data = { "username": "mafutian", "password": "abc123", } encoded_data = json.dumps(data).encode("utf-8") http = urllib3.PoolManager() r = http.request( ...
python post请求实例_Python post请求实现代码实例
weixin_36485103的博客
02-09 1599
使用post请求登陆小极客网1、获取登陆接口，及用户名和密码参数进入小极客网，先注册个账户，修改用户名和密码，然后点击登陆，打开debug调试-进入到network下输入用户名和密码，点击登陆如下图：获得登陆接口：http://www.xiaojike.cn/sign_in/用户名变量为：username密码变量为：password2、写代码，将用户名和密码以post方式发送，并且打印返回的状态码...
【总结】爬虫流程
路u的博客
04-02 656
爬虫流程
Python爬虫（二）——发送请求
weixin_47684422的博客
08-27 1427
requests是当前爬虫中非常实用的一个库，使用起来也十分方便，对待新手十分友好

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值