爬虫实战 ——百度翻译

使用post请求:

requests.post(url,data, headers)

寻找url:

 

1.打开百度翻译,随便输入一段值:

2.鼠标右击,打开检查选项,点击“网络”

 

 3.点击fetch/XHR

 4.在翻译面板里随便输入或删除一些字,比如把“早上好”的“好”删除

我们发现删去“好”后多出了很多新东西,比如sug

5,点击sug

 发现标头里有我们想要的URL:https://fanyi.baidu.com/sug

于是我们把url找到了

接下来开始写程序:

# 导入工具包
import requests
import json
#爬取百度翻译
def baidu_spider(keyword:str='早上好')->str:
    """
    根据关键字爬取百度翻译信息
    :param keyword: 需要翻译的文本
    :return: 百度翻译结果
    """
    if keyword is None:
        print("Parameter keyword should not be None!")
        return
    #1.指定链接
    url="https://fanyi.baidu.com/sug"#通过网页逆向工程得到
    #2.UA伪装
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'}
    #3.POST参数设置
    params={'kw':keyword}
    try:
        #4.发送请求
        r = requests.post(url=url, data=params, headers=headers)
        r.raise_for_status()  # 如果状态不是200,引发HTTPError异常
        r.encoding = r.apparent_encoding  # 获取并设置字符编码
        # 5.获取响应的信息
        dict_obj = r.json()
        #6.持久化存储
        fileName = keyword + '.json'
        fp = open(fileName, 'wt', encoding='utf-8')
        json.dump(dict_obj, fp=fp,  ensure_ascii=False)
        fp.close()
        print("翻译结果: ", dict_obj["data"])
    except:
        print('error')
        return None
if __name__ == "__main__":
    keyword=input("请输入需要翻译的中文:")
    baidu_spider(keyword)

看看运行结果:

嗯哼!完工! 

  • 11
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值