🌈据说，看我文章时 关注、点赞、收藏 的 帅哥美女们 心情都会不自觉的好起来。
前言：
🧡作者简介：大家好我是 user_from_future ，意思是 “ 来自未来的用户 ” ，寓意着未来的自己一定很棒~
✨个人主页：点我直达，在这里肯定能找到你想要的~
👍专栏介绍：Python爬虫 ，一个专注于分享爬虫技巧与案例的专栏~
想看往期历史文章，可以浏览此博文： 历史文章目录，后续所有文章发布都会同步更新此博文~
前言
自从谷歌翻译用不了之后，一直都在探索其他可用翻译，今天就轮到了我们的 有道翻译。首先来总起评价这个网页的爬虫难度：简单（自从刷了猿人学，这种在我眼中只能被归类为简单了）。
旧API接口
在此之前我也是爬过 有道翻译 的，不过以前是压根没有加密，直接请求就能得到数据，在此放出来：
import requests
def translate_old(text):
url = 'http://fanyi.youdao.com/translate'
params = {
'i': text,
'doctype': 'json'
}
return requests.get(url, params=params).json()
print(translate_old('翻译'))
就拿这个例子执行一下，他返回了：
{'type': 'ZH_CN2EN', 'errorCode': 0, 'elapsedTime': 1, 'translateResult': [[{'src': '翻译', 'tgt': 'translation'}]]}
，现在来对比一下新的API接口的返回：
{'code': 0, 'dictResult': {'ce': {'word': {'trs': [{'voice': 'translate&type=2', '#text': 'translate', '#tran': '译，翻译；（使）转变，（使）变化；意同，相当于，（把……）解释为；（以易于理解的方式）解释，说明；导致，造成；改编，改写；转换（计算机程序或语言所含的信息）；（生）转译（信使RNA中的一组核苷酸）；转移，调动，转变；<正式>调换（主教，苏格兰牧师）的教区；<正式>移葬（圣徒遗骸）；<文>送（人，尤指活人）进天堂；（物理）平移（主干部分）；（数）平移（几何图形）；'}, {'voice': 'interpret&type=2', '#text': 'interpret', '#tran': '解释，说明；口译；把……理解为；演绎；'}], 'phone': 'fān yì', 'return-phrase': '翻译'}}}, 'translateResult': [[{'tgt': 'translation', 'src': '翻译', 'srcPronounce': 'fānyì'}]], 'type': 'zh-CHS2en'}
，可见新API的返回相当给力，不管用不用的上，都给你了。
看到别人用着这个，一下子就激发了我征服它的欲望，于是我们开始来爬新API接口吧~
新API接口
打开网页和开发者选项，映入眼帘的是仅仅两个需要攻克的加密部分：
对比了一下，这个 mysticTime 是请求的时间戳，同步变化的是 sign ，如果此时你 hook 时间：
然后随便找两个例子翻译一下：
你会发现 sign 的值纹丝不动！所以这个 sign 是由时间戳生成无疑了，当然代码也很好找：
有点多，没事，加个冒号：
瞬间少了一堆，我们一个个点进去，发现运气真好，第一个就是：
右击来源中打开，找到这个 sign 打个断点，随便翻译一个就进来了：
甚至发现他调用的函数就在上方，这是不是太简单了，看不起我呢？
看了一眼 r.a ，默默的获取了它的值：
这不真巧，用的方法就是 Node 模块 crypto 中的函数：
同一个 sign 值！简简单单So easy！
然后来看看他的返回值：
发现他是一长串的加密值，本以为要花一番功夫，然后我瞟了一眼控制台：
直接把解密入口打印在了控制台！这是得多猖狂才能干的出来，仿佛在跟我说：你过来啊~
都这样了我们怎么也得盘一下它，从控制台点进去：
打上断点重新给翻译然后点进函数：
原来仅仅是一段 AES 加密啊，看看他的明文密钥是不是动态的。
刷新几次后，发现他的明文和密文都是固定写死的，也不管他以后会不会变，现在只想 CV 下来。
用 Node 执行一下：
成功解密，很好，整个翻译API的解密流程就完毕了，对于整个过程，我几乎只有一个动作：CV （手动滑稽~）
之前在处理 execjs 出现 gbk 编码异常时候看到了，每次请求都会新建一个 os.Popen ，而这个是子进程，会比较耗时，所以我们最终的目标，是用纯Python实现它！
新API接口调用的两段JavaScript
先贴上刚才所使用的两段JavaScript代码。
第一段，生成 sign 参数：
const crypto = require('crypto');
const d = "fanyideskweb"
, u = "webfanyi"
, m = "client,mysticTime,product"
, p = "1.0.0"
, b = "web"
, f = "fanyi.web";
function v(e) {
return crypto.createHash("md5").update(e.toString()).digest("hex")
}
function h(e, t) {
return v(`client=${d}&mysticTime=${e}&product=${u}&key=${t}`)
}
function O(e) {
const t = (new Date).getTime();
return {
sign: h(t, e),
client: d,
product: u,
appVersion: p,
vendor: b,
pointParam: m,
mysticTime: t,
keyfrom: f
}
}
第二段，解密返回结果：
const crypto = require('crypto');
const o = 'ydsecret://query/key/B*RGygVywfNBwpmBaZg*WT7SIOUP2T0C9WHMZN39j^DAdaZhAnxvGcCY6VYFwnHl';
const n = 'ydsecret://query/iv/C@lZe2YzHtZ2CYgaXKSVfsb7Y4QWHjITPPZ0nQp87fBeJ!Iv6v^6fvi2WN@bYpJ4';
S = (t)=>{
const a = Buffer.alloc(16, crypto.createHash('md5').update(o).digest());
const r = Buffer.alloc(16, crypto.createHash('md5').update(n).digest());
const i = crypto.createDecipheriv("aes-128-cbc", a, r);
let s = i.update(t, "base64", "utf-8");
return s += i.final("utf-8")
}
JavaScript解密函数转Python函数
先来看第一段，生成 sign 参数，其实就是一个 md5 生成函数，先生成一个时间戳，添加到指定字符串中并用 md5 加密即可：
import hashlib
time_stamp = str(time.time())
data = {
'i': text,
'from': from_,
'to': to,
'domain': '0',
'dictResult': 'true',
'keyid': 'webfanyi',
'sign': hashlib.md5(f'client=fanyideskweb&mysticTime={time_stamp}&product=webfanyi&key=fsdsogkndfokasodnaso'.encode('utf-8')).hexdigest(),
'client': 'fanyideskweb',
'product': 'webfanyi',
'appVersion': '1.0.0',
'vendor': 'web',
'pointParam': 'client,mysticTime,product',
'mysticTime': time_stamp,
'keyfrom': 'fanyi.web'
}
对于第二段有 AES 加密的代码来说，也简单，调用专门的库就可以实现：
text = 'XXX'
key_md5 = hashlib.md5('ydsecret://query/key/B*RGygVywfNBwpmBaZg*WT7SIOUP2T0C9WHMZN39j^DAdaZhAnxvGcCY6VYFwnHl'.encode('utf-8')).digest()
iv_md5 = hashlib.md5('ydsecret://query/iv/C@lZe2YzHtZ2CYgaXKSVfsb7Y4QWHjITPPZ0nQp87fBeJ!Iv6v^6fvi2WN@bYpJ4'.encode('utf-8')).digest()
print(unpad(AES.new(key=key_md5, mode=AES.MODE_CBC, iv=iv_md5).decrypt(base64.urlsafe_b64decode(text)), AES.block_size).decode('utf-8'))
这里的 text 就是我们的API返回结果啦。
完整代码（纯Python实现）
import json
import time
import base64
# import execjs
import hashlib
import requests
from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad
def translate_old(text):
url = 'http://fanyi.youdao.com/translate'
params = {
'i': text,
'doctype': 'json'
}
return requests.get(url, params=params).json()
session = requests.session()
lastModified = requests.get('https://fanyi.youdao.com/index.html').headers['last-Modified']
_nlmf = int(time.mktime(time.strptime(lastModified, "%a, %d %b %Y %H:%M:%S GMT")))
session.headers = {
'Referer': 'https://fanyi.youdao.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36',
}
session.get(f'https://rlogs.youdao.com/rlog.php?_npid=fanyiweb&_ncat=pageview&_ncoo=935962676.0432019&_nssn=NULL&_nver=1.2.0&_ntms={time.time()}&_nref=&_nurl=https%3A%2F%2Ffanyi.youdao.com%2Findex.html%23%2F&_nres=1920x1080&_nlmf={_nlmf}&_njve=0&_nchr=utf-8&_nfrg=%2F&/=NULL&screen=1920*1080')
def decrypt(text):
key_md5 = hashlib.md5('ydsecret://query/key/B*RGygVywfNBwpmBaZg*WT7SIOUP2T0C9WHMZN39j^DAdaZhAnxvGcCY6VYFwnHl'.encode('utf-8')).digest()
iv_md5 = hashlib.md5('ydsecret://query/iv/C@lZe2YzHtZ2CYgaXKSVfsb7Y4QWHjITPPZ0nQp87fBeJ!Iv6v^6fvi2WN@bYpJ4'.encode('utf-8')).digest()
return unpad(AES.new(key=key_md5, mode=AES.MODE_CBC, iv=iv_md5).decrypt(base64.urlsafe_b64decode(text)), AES.block_size).decode('utf-8')
def translate(text, from_='auto', to=''):
time_stamp = str(time.time())
data = {
'i': text,
'from': from_,
'to': to,
'domain': '0',
'dictResult': 'true',
'keyid': 'webfanyi',
'sign': hashlib.md5(f'client=fanyideskweb&mysticTime={time_stamp}&product=webfanyi&key=fsdsogkndfokasodnaso'.encode('utf-8')).hexdigest(),
'client': 'fanyideskweb',
'product': 'webfanyi',
'appVersion': '1.0.0',
'vendor': 'web',
'pointParam': 'client,mysticTime,product',
'mysticTime': time_stamp,
'keyfrom': 'fanyi.web'
}
return json.loads(decrypt(session.post('https://dict.youdao.com/webtranslate', data=data).text))
if __name__ == '__main__':
word = '我多喜欢你，你知道吗？'
print(translate_old(word)['translateResult'][0][0]['tgt'])
print(translate(word)['translateResult'][0][0]['tgt'])
至于我这里来为什么要写 lastModified = requests.get('https://fanyi.youdao.com/index.html').headers['last-Modified'] ，就要从我发现 cookie 中必须包含 OUTFOX_SEARCH_USER_ID 这个键值说起，然后我去找了找，发现只有 https://rlogs.youdao.com/rlog.php 这个请求会返回 cookie ，然后发现他的请求中，有个当前毫秒时间戳 _ntms 参数和另外一个不知道桌面生成的 _nlmf 参数，我去查找生成发现他是由 https://shared.ydstatic.com/js/rlog/v1.js 启动的，其中的启动函数：
从堆栈往上走，发现他是这里面的 lastModified 给的：
但这个值一直变，而且不是现在的时间戳，我在网址中查看了一下：
发现有好多的网址的响应头都加了 Last-Modified 参数，不同时间上面还不一样，所以我们也在每次运行前获取一次。
886
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
