Requests库实战(二)---破解百度翻译

功能：爬取到页面中翻译后的文本数据

获取请求地址和请求方式

• 先输入dog翻译一下，发现是Ajax请求(动态实时刷新页面)，Ajax请求的数据包可以在网络的XHR中看到。
• 找到输入dog的数据包，通过标头的表单数据kw:dog以及响应的结果就可以看到是这个数据包。
• 在标头的常规中得到请求URL和请求方式(post),在响应头看到响应结果类型为json数据

如何判断是不是Ajax请求？
动态实时刷新页面，只要页面出现了新内容并且url没有发生改变就是Ajax请求。

完整代码

import requests
import json

#伪装UA
header={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48'
}
word=input('输入要翻译的单词：')
#post请求参数处理(同get请求的param一样)
data={
    'kw':word #通过标头的表单数据可看到
}
url='https://fanyi.baidu.com/sug'
response=requests.post(url=url,data=data,headers=header)

#获取json数据,使用response.text的话得到的内容是字节序列
doc_obj=response.json()
print(doc_obj)
filename=word+'.json'
with open(filename,'w',encoding='utf-8') as f:
    json.dump(doc_obj,f,ensure_ascii=False) #第三个参数是因为中文不能使用ascii编码
print('获取翻译结果成功！')