【Python爬虫】有道翻译2023新版

已于 2023-07-04 16:37:09 修改
阅读量4.8k 收藏 42
点赞数 13
分类专栏： Python Python爬虫 文章标签： python 爬虫
于 2023-07-04 16:26:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cherish1112365/article/details/131537040
版权
本文详细介绍了如何使用Python编写爬虫来抓取有道词典和翻译的接口数据。通过分析网页结构，提取关键URL和参数，利用MD5和AES加密技术构造请求数据，并提供了完整的代码示例。分别展示了新版和旧版有道翻译的爬取方法，包括解析加密后的翻译结果。
摘要由CSDN通过智能技术生成

目录

Package安装

爬取有道词典

操作步骤

案例代码

爬取有道翻译--新版

操作步骤

案例代码

爬取有道翻译--旧版

案例代码

总结 

Package安装

使用requests进行获取请求URL的结果，MD5加密，AES解密对应的包安装，具体如下：

$ pip install requests hashlib pycryptodome

爬取有道词典

有道词典网页地址：网易有道

 

操作步骤

有道词典爬虫的操作步骤，具体如下：

  • 观察网页变化查找URL和请求参数：
    • 内容响应的URL：https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4

 

    • 请求参数：From Data中只有t和sign有变化

    • 通过在网页的JS文件中去查找t和sign，明确了t为时间戳，sign为加密标志。通过t的变化，md5加密生成sign

    • 请求参数参照js文件进行构造如下：
from hashlib import md5

def get_form_data(text, le):
    """
    构建表单参数
    :param :text:翻译内容
    :param :le:目标语言
    """
    # 固定值
    w = 'Mk6hqtUp33DGGtoS63tTJbMUYjRrG1Lu'
    v = 'webdict'
    _ = 'web'

    r = text + v
    time = len(r) % 10
    o = md5(r.encode('utf-8')).hexdigest()
    n = _ + text + str(time) + w + o
    f = md5(n.encode('utf-8')).hexdigest()

    form_data = {
        'q': text,
        'le': le,
        't': time,
        'client': _,
        'sign': f,
        'keyfrom': v,
    }
    return form_data
  • heads的确定：通过postman进行确定请求头head的组成
    • 选中URL，鼠标右键Copy as cURL(bash)

    • 在postman中进行粘贴URL，测试哪些是有影响的head头：

 

 

案例代码

根据以上的操作后，最终代码如下：

from hashlib import md5

import requests


def get_form_data(text, le):
    """
    构建表单参数
    :param :text:翻译内容
    :param :le:目标语言
    """
    # 固定值
    w = 'Mk6hqtUp33DGGtoS63tTJbMUYjRrG1Lu'
    v = 'webdict'
    _ = 'web'

    r = text + v
    time = len(r) % 10
    o = md5(r.encode('utf-8')).hexdigest()
    n = _ + text + str(time) + w + o
    f = md5(n.encode('utf-8')).hexdigest()

    form_data = {
        'q': text,
        'le': le,
        't': time,
        'client': _,
        'sign': f,
        'keyfrom': v,
    }
    return form_data


def translate(query, to_lan):
    """
    启动翻译
    :param query: 翻译内容
    :param to_lan: 目标语言
    :return:
    """
    # 有道词典网页请求参数
    url = 'https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4'
    form_data = get_form_data(query, to_lan)

    try:
        res = requests.post(url, data=form_data).json()
        # 取第一个网络释义
        result = res['web_trans']['web-translation'][0]['trans'][0]['value']
        return result
    except Exception as e:
        print('翻译失败：', e)
        return '翻译失败：' + query


if __name__ == '__main__':
    """
    # 有道词典语言选项
    lang = {
        '自动检测语言': '',
        '中英': 'en',
        '中法': 'fr',
        '中韩': 'ko',
        '中日': 'ja',
    }
    """
    word = input("请输入你要翻译的文字: ")
    # ret = translate('早上好', 'ja')
    # ret = translate('你好', 'fr')
    # ret = translate('你好', 'ko')
    # ret = translate('你好', '')
    # ret = translate('你好', 'en')
    ret = translate(word, 'ja')
    print('翻译结果：\n', ret)

爬取有道翻译--新版

有道翻译网页地址：有道翻译_文本、文档、网页、在线即时翻译

 

操作步骤

有道翻译爬虫的操作步骤，具体如下：

  • 观察网页变化查找URL和请求参数：
    • 内容响应的URL：https://dict.youdao.com/webtranslate

 

    • 请求参数：Form Data中只有sign和mysticTime有变化 
    • 通过在网页的JS文件中去查找mysticTime和sign，明确了mysticTime为时间戳，sign为加密标志。通过t的变化，md5加密生成sign 
    • 请求参数参照js文件进行构造如下：
from hashlib import md5

def get_form_data(sentence, from_lang, to_lang):
    """
    构建表单参数
    :param :sentence:翻译内容
    :param from_lang:源语言
    :param to_lang:目标语言
    :return:
    """
    e = 'fsdsogkndfokasodnaso'
    d = 'fanyideskweb'
    u = 'webfanyi'
    m = 'client,mysticTime,product'
    p = '1.0.0'
    b = 'web'
    f = 'fanyi.web'
    t = time.time()

    query = {
        'client': d,
        'mysticTime': t,
        'product': u,
        'key': e
    }

    # 获取sign值 - -密钥值
    h = hashlib.md5(urlencode(query).encode('utf-8')).hexdigest()

    form_data = {
        'i': sentence,
        'from': from_lang,
        'to': to_lang,
        'domain': 0,
        'dictResult': 'true',
        'keyid': u,
        'sign': h,
        'client': d,
        'product': u,
        'appVersion': p,
        'vendor': b,
        'pointParam': m,
        'mysticTime': t,
        'keyfrom': f
    }
    return form_data
  • 通过AES进行解密翻译结果：
    • 在js文件中找到key和iv值

 

 AES对应的package安装：

$ pip install pycryptodome

 AES的类构造如下：

import hashlib
import base64

from urllib.parse import urlencode
from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad, pad

class AESCipher(object):
    key = b'ydsecret://query/key/B*RGygVywfNBwpmBaZg*WT7SIOUP2T0C9WHMZN39j^DAdaZhAnxvGcCY6VYFwnHl'
    iv = b'ydsecret://query/iv/C@lZe2YzHtZ2CYgaXKSVfsb7Y4QWHjITPPZ0nQp87fBeJ!Iv6v^6fvi2WN@bYpJ4'
    iv = hashlib.md5(iv).digest()
    key = hashlib.md5(key).digest()

    @staticmethod
    def decrypt(data):
        # AES解密
        cipher = AES.new(AESCipher.key, AES.MODE_CBC, iv=AESCipher.iv)
        decrypted = cipher.decrypt(base64.b64decode(data, b'-_'))
        unpadded_message = unpad(decrypted, AES.block_size).decode()
        return unpadded_message

    @staticmethod
    def encrypt(plaintext: str):
        # AES加密
        cipher = AES.new(AESCipher.key, AES.MODE_CBC, iv=AESCipher.iv)
        plaintext = plaintext.encode()
        padded_message = pad(plaintext, AES.block_size)
        encrypted = cipher.encrypt(padded_message)
        encrypted = base64.b64encode(encrypted, b'-_')
        return encrypted
  • heads的确定：通过postman进行确定请求头head的组成 
    • 选中URL，鼠标右键Copy as cURL(bash)

    • 在postman中进行粘贴URL，测试哪些是有影响的head头：

 

案例代码

根据以上的操作后，最终代码如下：

import hashlib
import base64
import requests
import json
import time

from urllib.parse import urlencode
from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad, pad


class AESCipher(object):
    key = b'ydsecret://query/key/B*RGygVywfNBwpmBaZg*WT7SIOUP2T0C9WHMZN39j^DAdaZhAnxvGcCY6VYFwnHl'
    iv = b'ydsecret://query/iv/C@lZe2YzHtZ2CYgaXKSVfsb7Y4QWHjITPPZ0nQp87fBeJ!Iv6v^6fvi2WN@bYpJ4'
    iv = hashlib.md5(iv).digest()
    key = hashlib.md5(key).digest()

    @staticmethod
    def decrypt(data):
        # AES解密
        cipher = AES.new(AESCipher.key, AES.MODE_CBC, iv=AESCipher.iv)
        decrypted = cipher.decrypt(base64.b64decode(data, b'-_'))
        unpadded_message = unpad(decrypted, AES.block_size).decode()
        return unpadded_message

    @staticmethod
    def encrypt(plaintext: str):
        # AES加密
        cipher = AES.new(AESCipher.key, AES.MODE_CBC, iv=AESCipher.iv)
        plaintext = plaintext.encode()
        padded_message = pad(plaintext, AES.block_size)
        encrypted = cipher.encrypt(padded_message)
        encrypted = base64.b64encode(encrypted, b'-_')
        return encrypted


def get_form_data(sentence, from_lang, to_lang):
    """
    构建表单参数
    :param :sentence:翻译内容
    :param from_lang:源语言
    :param to_lang:目标语言
    :return:
    """
    e = 'fsdsogkndfokasodnaso'
    d = 'fanyideskweb'
    u = 'webfanyi'
    m = 'client,mysticTime,product'
    p = '1.0.0'
    b = 'web'
    f = 'fanyi.web'
    t = time.time()

    query = {
        'client': d,
        'mysticTime': t,
        'product': u,
        'key': e
    }

    # 获取sign值 - -密钥值
    h = hashlib.md5(urlencode(query).encode('utf-8')).hexdigest()

    form_data = {
        'i': sentence,
        'from': from_lang,
        'to': to_lang,
        'domain': 0,
        'dictResult': 'true',
        'keyid': u,
        'sign': h,
        'client': d,
        'product': u,
        'appVersion': p,
        'vendor': b,
        'pointParam': m,
        'mysticTime': t,
        'keyfrom': f
    }
    return form_data


def translate(sentence, from_lang='auto', to_lang=''):
    """
    :param sentence:需翻译的句子
    :param from_lang:源语言
    :param to_lang:目标语言
    :return:
    """
    # 有道翻译网页请求参数
    url = 'https://dict.youdao.com/webtranslate'
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
        'referer': 'https://fanyi.youdao.com/',
        'cookie': 'OUTFOX_SEARCH_USER_ID=-805044645@10.112.57.88; OUTFOX_SEARCH_USER_ID_NCOO=818822109.5585971;'
    }
    params = get_form_data(sentence, from_lang, to_lang)

    try:
        res = requests.post(url, headers=headers, data=params)
        # 翻译结果进行AES解密
        cipher = AESCipher
        ret = json.loads(cipher.decrypt(res.text))
        tgt = ret['translateResult'][0][0]['tgt']
        return tgt
    except Exception as e:
        print('翻译失败：', e)
        return '翻译失败：' + sentence


if __name__ == '__main__':
    word = input("请输入你要翻译的文字: ")
    # result = translate(word)
    result = translate(word, 'zh-CHS', 'ja')
    print('翻译结果：\n', result)

爬取有道翻译--旧版

 

案例代码

爬取有道翻译--旧版，代码如下：

import requests


def translate(content):
    """
    默认汉译英-英译汉的翻译
    :param content:要翻译的文本
    :return: 返回翻译后的结果
    """
    url = 'https://fanyi.youdao.com/translate'
    data = {'doctype': 'json',
            'i': content}
    try:
        r = requests.get(url, params=data)
        res_json = r.json()
        tgt = res_json['translateResult'][0][0]['tgt']
        return tgt
    except Exception as e:
        print('翻译失败：', e)
        return '翻译失败：' + content


if __name__ == '__main__':
    word = input("请输入需翻译的文字: ")
    res = translate(word)
    print('翻译结果：\n', res)

总结 

网站代码运行流程：

cherish1112365
关注
专栏目录
Python 3爬虫实现有道翻译+GUI并打包成exe文件
karmacode的博客
01-23 4325
之前写过爬虫爬取有道翻译实现简单翻译，并且不带GUI页面，而且当时写的时候有道官网还没没有反爬虫机制，时隔几月，有道翻译的网页版有了很大声的变化，所以正好在网易云课堂上找到一个有关破解有道翻译反爬虫机制的课程，顺带加上了使用tkinter时间桌面话，并采用cx_Freeze打包成在没有预装Python环境的windows环境下可以执行的exe文件，其实现在导包成可执行的exe文件，好像py2exe
Python实现有道翻译
沐阳清心
02-10 954
1. 初期操作 ​ 打开有道翻译界面—F12—Network—在翻译框中输入’hello’—在Network下面发现名为’translate_o?smartresult…'返回翻译之后的数据 2. 分析参数 ​ 把所有的Request Headers、params都写上尝试爬虫，可以得到结果。 ​ 然后Request Headers中Headers、Host、Origin、Referer三项留下，Cookie一项经尝试只有 OUTFOX_SEARCH_USER_ID=-1927650476@223
【Python网络爬虫】2024年新版网易有道翻译爬虫破解
最新发布
moyuweiqing的博客
09-13 915
这个是属于比较入门级别的js逆向？吧？
爬虫 | 基于 Python 实现有道翻译工具
ttrr27的博客
04-18 2708
Hi，大家好，我是半亩花海。本项目旨在利用 Python 语言实现一个简单的有道翻译工具。有道翻译是一款常用的在线翻译服务，能够实现多种语言的互译，提供高质量的翻译结果。
python有道翻译接口-Python 调用有道翻译接口实现翻译
weixin_37988176的博客
11-01 1237
最近为了熟悉一下 js 用有道翻译练了一下手，写一篇博客记录一下，也希望能对大家有所启迪，不过这些网站更新太快，可能大家尝试的时候会有所不同。首先来看一下网页 post 过去的数据大家不难发现，我们翻译的内容是放在 post 的 data 中的，这些参数，除了 salt 和 sign 要么就是不会变化，要么就是一眼能看出来意义的；那么这个 salt 和 sign 是什么呢？salt 根据 ta 数...
爬虫—有道翻译
weixin_43726170的博客
06-21 1099
’’’ 目标：爬取有道翻译数据 作用：在本地进行翻译，并将所用单词与翻译保存于本地文件夹 推荐：基础学习者 ‘’' import requests,time,hashlib #导入所需模块，hashlib为md5加密所需模块 def youdao(susu): #data上传需要修改的数据 salt = int(time.time()*10000) ts = salt//10 value =“fa...
爬虫有道翻译
hao_1314_wen的博客
09-04 405
import urllib.request import urllib.parse req = urllib.request.Request('http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule') data = {} data['action'] = 'FY_BY_CLICKBUTTION' da...
python爬虫有道翻译示例
02-27
使用ｊｓｏｎ解析的python爬虫实例，注释详细
Python爬虫实现简单的爬取有道翻译功能示例
09-20
首先，我们来理解标题中的“Python爬虫”和“爬取有道翻译功能”的含义。Python爬虫是指使用Python语言编写的程序，它能够自动访问互联网，并从中抓取所需信息。在本文中，这个信息具体指的是有道翻译网站提供的翻译...
利用Python爬虫进行有道翻译
qq_53108221的博客
03-13 1959
利用Python爬虫进行文本翻译 先呈上代码 ** import requests from hashlib import md5 import time #from urllib.parse import urlencode url = "https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule" #请求标头文件 headers = { "Accept": "application/json, te
可执行源码python爬虫实例——基于python实现有道云翻译接口
01-01
可执行源码python爬虫实例——基于python实现有道云翻译接口
最新Python 3爬虫实现有道翻译+GUI并打包成exe文件_youdaogui(1)
2301_82243883的博客
05-03 964
这表单里面的内容是都需要在代码中发送给服务器的，主要难在表单中的内容，反爬虫的主要就是加密向服务器提交表单的动态值，在这里面，可以很容易的就看出来安歇键值对是动态的，即哪些键对应的值是每次都有变化的，可以看出来，salt和sign对应的值是每次都变的，所以就找这两个值是怎么升成的，其实一般网站生成的反爬加密值都是采用的时间戳，以及将一下字符串使用加密算法加密一下，这里我们在网页源代码中找到提交给服务器表单的js文件。在浏览器上打开js文件复制下来（因为直接看的话，没有代码格式，很痛苦，找不到有用的信息）
python 爬虫——有道翻译
weixin_42582241的博客
02-10 2244
一、网页解析 打开有道翻译官网： 通过F12，找到网络一栏，寻找”POST”请求，并在“消息头”下找到请求网址，即翻译的原网址 ： 观察“参数”一栏，在“数据表单”中找到了输入的字符串赋值给了参数“i”： 观察“响应”一栏，在“响应载荷”中找到了输出的字符串： 此处为字典格式，在代码分析中将对其进行解析。 在“消息头”的“请求头”中找到“User-Agent”： 不同设备对这一段的代码都不同，所以针对自己的设备，复制下这一段代码，用于后续代码编写，这是网站判断是否为爬虫的一个依据。 二、代码解析 u
爬虫之有道翻译
Never-Giveup的博客
05-19 7093
有道翻译采用js加密的方式，阻碍我们使用代码进行翻译。所以本文手把手教你破解有道js加密方式1. 首先不考虑js加密情况1.1 第一步打开有道翻译首页，简单输入一个单词，在检查->Network中分析请求响应1.2 查看请求的url地址和请求方式，请求体1.3 代码实现，加上请求头，请求体from urllib import request,parse def youdao(): ...
python翻译爬虫_Python爬虫爬取有道实现翻译功能
weixin_39631445的博客
11-29 276
准备首先安装爬虫urllib库pip install urllib获取有道翻译的链接url需要发送的参数在form data里示例import urllib.requestimport urllib.parseurl = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'data = {}data['i']...
简单的有道翻译爬虫
abcque的专栏
03-22 347
# encoding: utf-8 import urllib.request import urllib.parse # 请求头 headers = { "Accept": "application/json, text/javascript, */*; q=0.01", #"Accept-Encoding": "gzip, deflate", "Accept-Language": ...
爬虫-有道翻译
wanghandou的博客
10-14 962
# !/usr/bin/python # -*- encoding: UTF-8 -*- import urllib import urllib2 headers={"X-Requested-With":"XMLHttpRequest", "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM
利用Python实现有道翻译的功能
王大阳的博客
05-05 3688
这是上学期在Python课堂上老师讲的利用Python实现有道翻译的功能。 流程如下：网址：有道翻译 输入翻译名称，按F12对网页进行分析，通过查询到translate开头的连接中我们找到了翻译的数据参数 首先将参数以urlencode编码的方式传入到url请求信息中，分二次打印：显示 接下来只需传出的请求信息读出来，再load一下就出来结果了 代码如下： #coding=utf-8 impo...
scrapy框架爬取有道翻译
10-21
Scrapy是一个强大的Python开源网络爬虫框架，可以用来快速、高效地爬取网页信息。下面我将以使用Scrapy框架爬取有道翻译为例，简要介绍如何进行爬取。 首先，我们需要创建一个Scrapy项目。打开命令行工具，输入以下命令： scrapy startproject youdao_translate 这将在当前目录下创建一个名为"youdao_translate"的Scrapy项目。接下来，进入项目目录并创建一个名为"translator"的爬虫，命令如下： cd youdao_translate scrapy genspider translator www.youdao.com 这将在项目目录下的spiders文件夹中生成一个名为"translator.py"的文件，我们可以在文件中编写爬虫代码。 打开"translator.py"文件，我们需要设置爬虫的起始URL和解析方法。首先，在文件的开头添加以下代码： start_urls = ['http://www.youdao.com/'] 然后，找到"def parse(self, response):"这一行，在该方法中编写解析页面的代码，如下所示： def parse(self, response): result = response.xpath('//div[@id="inputTranslation"]/ul/li/text()').extract_first() yield { 'translation': result, } 在这个示例中，我们使用XPath语法来提取翻译结果所在的标签，并将结果存储在一个字典中。通过使用yield关键字，我们将字典作为爬取结果返回。 接下来，保存文件并返回命令行工具。在命令行中输入以下命令即可启动爬虫： scrapy crawl translator Scrapy将会开始爬取并显示爬取过程的日志信息。当爬取完成后，结果将保存在默认的JSON文件中，您可以在项目目录下找到该文件。 以上就是使用Scrapy框架爬取有道翻译的简要流程。当然，具体的爬取过程可能因网站的结构和数据布局而有所不同，您可以根据实际情况进行调整和改进。希望对您有所帮助！
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值