爬虫--有道翻译的加盐破解方式

一、需求：翻译

二、

1. 根据需求寻找网站，这里以有道翻译为例，原来写过一篇关于百度翻译的案例

     可自行查看，http://fanyi.youdao.com/

2.找到ajax的那个request

3.通过network->XHR, 翻译触发条件，能够找到post，headers，body

 

            却需要构造i,salt,sign

           寻找js的步骤，刷新页面，找salt

           分析js的代码，生成我们Python的代码

         url = ‘http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule’

三、下载页面 headers的全添加

四、json获取数据

五、打印出来结果

直接上代码！！！！

import time
import random
import json
from Day1.fengzhuang_all import post

def md5_my(need_str):
    import hashlib
    # 创建md5对象
    md5_o = hashlib.md5()
    # 需要有bytes, 作为参数
    # 由str, 转换成 bytes encode-------str.encode('utf-8')
    # 由bytes转换成 str, decode---------bytes.decode('utf-8')
    sign_bytes = need_str.encode('utf-8')
    # print(type(sign_bytes))#<class 'bytes'>
    # 更新md5 object的值
    md5_o.update(sign_bytes)
    sign_str = md5_o.hexdigest()
    return sign_str

def translate(kw):
    url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        # 'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Connection': 'keep-alive',
        # 'Content-Length': '223',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Cookie': 'OUTFOX_SEARCH_USER_ID=-493176930@10.168.8.63; OUTFOX_SEARCH_USER_ID_NCOO=38624120.26076847; SESSION_FROM_COOKIE=unknown; JSESSIONID=aaabYcV4ZOU-JbQUha2uw; ___rl__test__cookies=1534210912076',
        'Host': 'fanyi.youdao.com',
        'Origin': 'http://fanyi.youdao.com',
        'Referer': 'http://fanyi.youdao.com/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest',
    }

    #form的生成   1. i:需要确定   2.salt   3.sign
    key = kw
    # print('time.time()',time.time())
    # print('random.randint(0,10)', random.randint(0,10))
    salt = int(time.time()*1000 + random.randint(0,10))
    # print(salt)
    salt_str = str(salt)

    # sign : o = u.md5(S + n + r + D);
    # S = "fanyideskweb"
    # D = "ebSeFb%=XZ%T[KZ)c(sy!"
    # n = key
    # r = salt_str
    S = "fanyideskweb"
    D = "ebSeFb%=XZ%T[KZ)c(sy!"
    sign_str = S + key + salt_str + D
    # md5 加密的方法
    sign_md5_str = md5_my(sign_str)

    form = {
        'i': key,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': salt_str,
        'sign': sign_md5_str,
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTIME',
        'typoResult': 'false',
    }
    html_bytes = post(url, form, headers=headers)

    # 将json类型的str转化成字典
    res_dict = json.loads(html_bytes.decode('utf-8'))
    print(html_bytes.decode('utf-8'))
    # {"translateResult":[[{"tgt":"hello","src":"你好"}]],
    #   "errorCode":0,"type":"zh-CHS2en",
    #   "smartResult":{"entries":["","hello\r\n","hi\r\n"],"type":1}}
    translate_res = res_dict['translateResult'][0][0]['tgt']
    # 将翻译后的结果返回
    return translate_res


if __name__ == '__main__':
    # 测试
    # print(translate('你好'))
    while True:
        code = input('请输入要翻译的词语： ')
        if code=='0':
            break
        else:
            ret = translate(code)
            print(code,'的翻译是:' + ret)

注意点：

str类型转换byte类型--->encode

byte类型转换str类型---->decode

字典dict转换str类型------>urlencode

urlencode:可以把key-value这样键值对转换成我们想要的格式，即url格式。返回的是类似a=1&b=2这样的url字符串

Content-Length:指的是内容体的长度，即body的长度。一般不设置，让其自动扩展
content length：是指报头以外的内容长度。一般的服务器实现中，超过这个长度的内容将被抛弃。 不会产生新post。
如果短于内容长度，协议要求服务器返回400错误信息Bad Request(不正确的请求)的。POST是把键-值对放在内容中传递，受上述规则制约。