Python爬虫百度翻译

最新推荐文章于 2024-09-25 18:05:02 发布

等待花开I

最新推荐文章于 2024-09-25 18:05:02 发布

阅读量934

点赞数

文章标签： python 爬虫百度

本文链接：https://blog.csdn.net/qq_45774645/article/details/122225847

版权

该博客演示了如何使用Python的requests和BeautifulSoup库获取百度翻译的建议数据，并通过正则表达式处理结果，最终将数据保存到本地的JSON文件中。主要涉及HTTP的POST请求、设置User-Agent以规避反爬机制以及JSON数据的读写操作。

摘要由CSDN通过智能技术生成

安装下列库

import urllib.request      # 获取整个网页内容
from bs4 import BeautifulSoup	# 解析网页结构
import re						# 使用正则匹配数据
import xlwt						# 保存到Excel中

import requests
import json

if __name__ == '__main__':
    post_url="https://fanyi.baidu.com/sug"
    # post请求
    data={
        'kw':'happy'
    }
    #UA 伪装
    head = {  # 模拟成浏览器，伪装，反扒机制
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
    }
    response=requests.post(post_url,data=data,headers=head)
    # 获取响应数据
    dic_obj=response.json()
    # 存储到文件
    fp=open('./dog.json','w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)