龟速学爬虫笔记③-CSDN博客

本文链接：https://blog.csdn.net/weixin_52034407/article/details/129432253

文章讲述了如何使用Python的requests库进行POST请求来爬取百度翻译的数据。重点在于理解POST请求中data和json的区别，并展示了如何构造参数和处理响应，包括设置Content-Type和解码问题。最终，代码示例演示了如何获取翻译结果并保存到文件。

摘要由CSDN通过智能技术生成

之前尝试过一次get的方式。get请求方式是通过url拼接进行数据传输的，和这次尝试的post请求方式不同。post是通过body体传输数据的。进行基于post请求方式的爬虫自然也不会和get请求一样。

post需要url和data，或者json。

post传参中data和json是有差别的。如果参数为JSON数据，可以直接传入json参数，它将自动编码并将Content-Type的置为application/json；如果data传递的参数为字符串，如：json.dumps(payload)，则request对参数进行url编码，Content-Type的值为None，所以data传字符串时，一定要在header中指定Content-Type；如果data传递的是字典、元组组成的列表或列表作为值的字典，则request对参数进行url编码，Content-Type的值为application/x-www-form-urlencoded

致敬一下百度翻译。

如上图所示，向百度翻译输入待翻译的数据是以POST请求方式传输的，并且也看到了网页给我们的数据。

在消息头中，我们可以看到这样的信息

也就是说，存放翻译信息的url是https://fanyi.baidu.com/sug

需要解决的问题是，百度翻译从我们这里接收数据用的参数是什么？切换到请求，表单数据显示kw:"spider"

由此可知，等一下要给字典创建的参数就是kw

原网页存储翻译结果的方式也是用的json,最后的结果需要用json形式，否则可能会需要进行进一步的转换

所以代码应该是这样的：

import requests#爬虫的库
url = 'https://fanyi.baidu.com/sug'
english =input("输入待翻译的英文:")
dict = {
    'kw':english
}
#post
response = requests.post(url="https://fanyi.baidu.com/sug",data=dict)
response.encoding = response.apparent_encoding#防止乱码
print("状态码:"+ str( response.status_code ) )
print(response.json())
#保存爬到的数据
with open('D:\\PythonStudy\\htmls\\baidu.html','w') as f:
    f.write(response.text)

结果如下: