爬取百度翻译结果

应用post请求爬取百度翻译结果

import requests
import json
if __name__=="__main__":
    post_url="https://fanyi.baidu.com/sug"
    # UA伪装
    headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
    }
    kw=input("word?")
    # post请求参数处理
    data={
        'kw':kw
    }

    response=requests.post(url=post_url,data=data,headers=headers)
    # 得到json字符串
    dic_obj=response.json()
    print(dic_obj)
    # 得到文件名
    file_name=kw+".json"
    fp=open(file_name,'w',encoding='utf-8')
    # 打包成json文件
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print("over")

总结：原页面更新的是ajax请求，查看源代码进行抓包
按键：F12-Network-XHR
其中可以点开看response查看具体返回的json数据