python爬虫——post方式

最新推荐文章于 2024-05-02 21:47:38 发布

独听钟声晚

最新推荐文章于 2024-05-02 21:47:38 发布

阅读量2.4k

点赞数 1

分类专栏： python爬虫

本文链接：https://blog.csdn.net/weixin_44321116/article/details/103385592

版权

本文介绍了Python爬虫中如何使用POST方式模拟浏览器行为。详细讲述了Ajax技术，并通过实例解析了sug和v2transapi两个接口的POST请求过程，包括抓包分析和参数调整，以实现成功的接口调用。

摘要由CSDN通过智能技术生成

1.Ajax

Ajax是一种在无需重庆加载整个页面的情况下，能够更新部分页面的技术。
如下：
在这里插入图片描述

在谷歌浏览器中按F12查看抓包，点击network-》xhr（表示是ajax）-》点击其中一个可以看见是post方式
在这里插入图片描述

当你一个字母一个字母慢慢输入时，你会抓到更多的Ajax请求数据包
例如输入hello,会发生5次请求

在这里插入图片描述

图中的表示是Ajax接口：

2.用post方式模拟浏览器

2.1 sug接口

import urllib.request
import urllib.parse
post_url='https://fanyi.baidu.com/sug'
word = input('请输入您要查询的英文单词：')
# 构建post表单数据
form_data={
   
    'kw':word,
}
# 发送请求的过程
headers={
   
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
}
# 构建请求对象
request=urllib.request.Request(url=post_url,headers=headers)
# 处理post表单数据
form_data=urllib.parse.urlencode(form_data).encode()
# 发送请求
response=urllib.request.urlopen(request,data=form_data)
print(response.read().decode())