爬虫day3,通过爬虫有道翻译实现汉译英

找到网站翻译变化的表单数据

通过验证,发现向地址post的时候,这三个是变化的,所以找到这三个数据是如何计算出来的,即能成功通过爬虫访问有道翻译

抓包进入该js文件中查找如何生成的

按ctrl+f进行查找,找到表单数据是怎么生成的,我们选择关键词
这里我们选择smartresult进行查找,定位到和表单数据相同的位置

在此我们可以发现要求的三个数据,通过r的属性得到,而r又是通过方法generateSaltSign方法得到,所以继续定位此方法,检索到r的生成之后

查找大括号里的其他内容

终于找到了变量r的生成,将其翻译为python代码后实现最终爬虫程序

代码实现

import requests,hashlib,time,random,json


class Youdao(object):
    def __init__(self,word):
        self.url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 Edg/92.0.902.55',
            'Cookie': 'OUTFOX_SEARCH_USER_ID=-1090926195@10.108.160.102; JSESSIONID=aaaQDsPz4cG4p8FxqxWRx; OUTFOX_SEARCH_USER_ID_NCOO=1862606847.6539812; fanyi-ad-id=113723; fanyi-ad-closed=1; ___rl__test__cookies=1627530303255',
            'Referer': 'https://fanyi.youdao.com/'
        }
        self.form_data = None
        self.word = word

    def generate_form_data(self):
        """
        var t = n.md5(navigator.appVersion)
          , r = "" + (new Date).getTime()
          , i = r + parseInt(10 * Math.random(), 10);
        return {
            ts": "r,
            salt": "i,
            sign": "n.md5("fanyideskweb" + e + i + "Y2FYu%TNSbMCxc3t2u^XT")
        :return:
        """
        ts = str((time.time())*1000)  # 13位字符
        salt = ts + str(random.randint(0,9))
        sign = "fanyideskweb" + self.word + salt + "Y2FYu%TNSbMCxc3t2u^XT"
        md5 = hashlib.md5()
        md5.update(sign.encode())
        sign = md5.hexdigest()
        self.form_data = {
            "i": self.word,
            "from": "AUTO",
            "to": "AUTO",
            "smartresult": "dict",
            "client": "fanyideskweb",
            "salt": salt,
            "sign": sign,
            "lts": ts,
            "bv": "1b31e1f5e3e687f8cbb5320699f8834e",
            "doctype": "json",
            "version": "2.1",
            "keyfrom": "fanyi.web",
            "action": "FY_BY_REALTlME",
        }

    def get_data(self):
        response = requests.post(self.url,headers = self.headers,data=self.form_data)
        return response.content

    def parse(self,res):
        dict_data = json.loads(res)
        return dict_data['smartResult']['entries'][1]

    def run(self):
        self.generate_form_data()
        res = self.get_data()
        # 解析数据
        print(self.parse(res))


if __name__ == '__main__':
	# 参数为你要翻译的词语
    youdao =Youdao('翻译')
    youdao.run()

运行结果: