爬虫：突破有道翻译js加密（最新）

爬虫：突破有道翻译js加密

代码已上传至个人GitHub，可供下载： 突破有道翻译js加密

思路：（python版本3.6）

1、分析post上传form信息，发现存在加密行为

2、查看网页js文件，分析加密函数

3、根据加密函数原理进行解密，突破有道的翻译接口

 一、打开有道翻译网页，按F12键，并输入内容进行翻译，可以看到服务器对网页请求作出的回应，最需要关注的是上传的信息和上传的路径（URL）。

 

通过多次观察，发现上传的form信息中不断变化的信息是（i、salt、sign、ts），其他的信息都是不变的。

 

根据以往经验就可以判断salt、sign、ts就是有道翻译为机器获取其翻译内容所设置的障碍。

二、寻找js文件中相应的加密函数，并分析其加密过程。

刷新一下网页，就可以看到反馈回来的各种js文件，fanyi.min.js最为显眼，像不像【翻译*密.js】。 

打开fanyi.min.js文件，并将js代码进行格式化，并查找相应的加密函数。

将格式化后的js代码放入txt文档进行查找操作，可以得到如下的加密函数。

 由上图函数可以看到ts、bv、salt、sign参数的由来，整理如下：

• ts：指的是获取当前的时间戳乘以1000取整
• bv：获取当前有道翻译版本的MD5编码（版本一般长时间不变）
• salt：ts加上[1, 10]之间的随机数
• sign：md5(“fanyideskweb” + 要翻译的内容 + salt + "1L5ja}w$puC.v_Kz3@yYn")

注意：由于有道翻译的反爬虫机制，其中的参数每过一段时间可能会改变，或者直接加密函数发生改变，但不变的解决问题的思想。

三、根据对加密函数的分析，就可以写相对应的解密代码了

from urllib import request, parse
import time
import random
import hashlib
import json


def get_ts():
    ts = str(int(1000 * time.time()))
    return ts


def get_salt(ts):
    salt = ts + str(random.randint(0, 10))
    return salt


def get_sign(words, salt):
    content = 'fanyideskweb' + words + salt + '1L5ja}w$puC.v_Kz3@yYn'
    sign = hashlib.md5(content.encode()).hexdigest()
    return sign


def translate(words, ts, salt, sign):
    url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"

    data = {
        "i": words,
        "from": "AUTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": salt,
        "sign": sign,
        'ts': ts,
        'bv': 'bbb3ed55971873051bc2ff740579bb49',
        "doctype": "json",
        "version": "2.1",
        "keyfrom": "fanyi.web",
        "action": "FY_BY_REALTIME",
        "typoResult": "false"
    }

    data = parse.urlencode(data).encode()

    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        # 'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'Content-Length': len(data),
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Cookie': '__guid=204659719.2422785200799945700.1554675512727.244; OUTFOX_SEARCH_USER_ID=-1327275086@10.169.0.82; OUTFOX_SEARCH_USER_ID_NCOO=378292303.3354687; JSESSIONID=aaaLYwaICIOxi6ofRh8Nw; monitor_count=8; ___rl__test__cookies=1554693830913',
        'Host': 'fanyi.youdao.com',
        'Origin': 'http://fanyi.youdao.com',
        'Referer': 'http://fanyi.youdao.com/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest'
    }

    req = request.Request(url=url, data=data, headers=headers)
    rsp = request.urlopen(req)
    html = rsp.read().decode('utf-8')
    json_data = json.loads(html)
    print('翻译的结果为：' + json_data['translateResult'][0][0]['tgt'])


if __name__ == '__main__':
    words = input('请输入要翻译的内容：')
    ts = get_ts()
    salt = get_salt(ts)
    sign = get_sign(words, salt)
    translate(words, ts, salt, sign)

运行结果：

代码已上传至个人GitHub，可供下载： 突破有道翻译js加密