爬取有道网站

import time,random,json
from day01.tuozhan_all import post # 这是一个自己封装的包，在这里调用的
def md5_my(need_str):
# 导入md5的包
import hashlib
#创建MD5对象
md5_obj = hashlib.md5()

#需要有一个str转化为bytes作为参数
sign_bytes = need_str.encode('utf-8')

#调用update()函数，来更新md5_obj值
md5_obj.update(sign_bytes)

#返回加密后的str
sign_str = md5_obj.hexdigest()
return sign_str

def translate(word):
url = ‘http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule’

# 需要变得是i,salt,sign
# i：是要翻译的东西；   salt:在JS当中,找到相应的位置，然后改为python代码
# salt =((new Date).getTime() + parseInt(10 * Math.random(), 10))     获取当前时间（getTime()毫秒）+随机生成从0-1，以十进制表示
salt = int(time.time()*1000+random.randint(0,10))    #time.time()返回的是纳秒,是一个浮点型，所以要转int
salt_str = str(salt)  #转化为str为方便后面拼接
# sign : o = u.md5(S + n + r + D)    md5加密之后的结果
        # S = "fanyideskweb"
        # n = key
        # r = salt
        # D = "ebSeFb%=XZ%T[KZ)c(sy!"
key = word
D = "ebSeFb%=XZ%T[KZ)c(sy!"
S = "fanyideskweb"
sign_str = S+key+salt_str+D
# 调用加密的方法
sign_md5_str = md5_my(sign_str)
form = {
        'i': key,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': salt_str,
        'sign': sign_md5_str,
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTIME',
        'typoResult': 'false',
    }
headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        #'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Connection': 'keep-alive',
        #'Content-Length': '223',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Cookie': 'OUTFOX_SEARCH_USER_ID=-493176930@10.168.8.63; OUTFOX_SEARCH_USER_ID_NCOO=38624120.26076847; SESSION_FROM_COOKIE=unknown; JSESSIONID=aaabYcV4ZOU-JbQUha2uw; ___rl__test__cookies=1534210912076',
        'Host': 'fanyi.youdao.com',
        'Origin': 'http://fanyi.youdao.com',
        'Referer': 'http://fanyi.youdao.com/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest',
}
html_bytes = post(url,form,headers=headers)
# a=html_bytes.decode('utf-8')
# print(type(a))   字符串的类型
#将json 类型的 str 转换成字典格式，方便切片
res_dict=json.loads(html_bytes.decode('utf-8'))
translate_res = res_dict['translateResult'][0][0]['tgt']
return translate_res

if name==”main“:
ret = translate(‘家’)
print(ret)

”’
有道翻译爬取思路：
1.搜索一个词，得到的翻译结果就是接口 preview
2.看 Headers 中的URL，form
3.form中的变量是i, salt, sign
4.找到JS文档，将三个变量找出来，写成对应的python格式
4.1 MD5加密
步骤：引入加密包； 创建MD5 对象； 需要有一个str转换为bytes的作为参数； 调用update函数进行更改； 返回加密之后的srt
5.url (是ajax的Headers的路由)
6.以post方式传入
7.如果还是没有请求成功，将请求头headers 全部复制，再次伪装。

”’