Python爬虫攻略(4)>有道翻译爬虫

参考网址：
https://tendcode.com/article/youdao-spider/
https://my.oschina.net/u/4004713/blog/3067132
创作灵感来源于上面两篇文章, 本文是在上述文章的基础上做的更新
如果你看过上面的文章, 说明咱们是同道中人, 如果没有强烈推荐花10分钟时间去看一下, 原文对初学者受益匪浅

以下为代码, 关键地方添加了注释

import hashlib
import random
import re
import time
import requests
import json

from selenium import webdriver

"""
向有道翻译发送data，得到翻译结果
更新: 现在可以动态获取self.D 和 cookies
"""


class SeleniumGetCookies:
    """
    通过selenium 动态获取cookies
    以下代码不用完全搞懂, 直接复制使用即可
    适用与大部分需要动态获取cookies的爬虫场景
    """
    def __init__(self, url):
        # url参数最适合的是网站的主页
        options = webdriver.ChromeOptions()
        options.add_argument('--headless')  # 无界面模式
        self.driver = webdriver.Chrome(executable_path='E:/chromedriver.exe', options=options)
        self.driver.get(url)

    def run(self):
        cookie = [item["name"] + "=" + item["value"] for item in self.driver.get_cookies()]
        cookie_str = ';'.join(item for item in cookie)
        return cookie_str

    def __del__(self):
        self.driver.close()


class Youdao:
    def __init__(self, msg):
        self.msg = msg
        self.url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
        self.D = self.get_D()
        self.ts = str(int(time.time() * 1000))  # 根据当前时间戳获取ts参数
        self.salt = self.get_salt()
        self.sign = self.get_sign()
        self.referer_url = 'http://fanyi.youdao.com/'
        # 获取参数的网站是有道翻译的主页
        self.cookies = SeleniumGetCookies(self.referer_url).run()

    def get_D(self):
    	# 访问JS代码的网址
        resp = requests.get('http://shared.ydstatic.com/fanyi/newweb/v1.0.22/scripts/newweb/fanyi.min.js')
        # 正则匹配出追加字符串, 例如 "n%A-rKaT5fb[Gy?;N5@Tj"
        s = re.findall(r'"fanyideskweb".*?"(.*?)"', resp.text)[0]
        return s

    def get_md(self, value):
        # md5加密
        m = hashlib.md5()
        m.update(value.encode('utf-8'))
        return m.hexdigest()

    def get_salt(self):
        # 根据当前时间戳获取salt参数
        s = self.ts + str(random.randint(0, 10))
        return s

    def get_sign(self):
        # 使用md5函数和其他参数，得到sign参数
        s = "fanyideskweb" + self.msg + self.salt + self.D
        return self.get_md(s)

    def get_result(self):
        Form_Data = {
            # 此处注释掉非必须参数
            'i': self.msg,
            # 'from': 'AUTO',
            # 'to': 'AUTO',
            'smartresult': 'dict',
            'client': 'fanyideskweb',
            'salt': self.salt,
            'sign': self.sign,
            'ts': self.ts,
            # 'bv': 'c6b8c998b2cbaa29bd94afc223bc106c',
            # 'doctype': 'json',
            'version': '2.1',
            'keyfrom': 'fanyi.web',
            # 'action': 'FY_BY_CLICKBUTTION'
        }

        headers = {
            'Cookie': self.cookies,
            'Referer': self.referer_url,
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OSX10_14_2) AppleWebKit/537.36(KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
        }
        response = requests.post(self.url, data=Form_Data, headers=headers).text
        translate_results = json.loads(response)
        # 找到翻译结果
        if 'translateResult' in translate_results:
            translate_results = translate_results['translateResult'][0][0]['tgt']
            print("翻译的结果是：%s" % translate_results)
        else:
            print(translate_results)


if __name__ == "__main__":
    y = Youdao('我做到了')
    y.get_result()

这种动态的方式可以适用在有道翻译的页面逻辑不变的情况下, 但仍有许多不足, 辟如运行速度慢
有问题欢迎提出, 希望本篇文章能够起到抛砖引玉的效果