Python3爬取有道翻译的两种方法

最新推荐文章于 2024-08-21 09:19:13 发布
最新推荐文章于 2024-08-21 09:19:13 发布
阅读量4.5k 收藏 29
点赞数 10
分类专栏： Pythom爬虫 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_blueD/article/details/90581634
版权

一. 破解参数加密

有道翻译的请求是post，携带一系列参数，直接F12刷新进行调试，如下图所示：

这是一个 post 请求，目标网址是

'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

接下来让我们看看发送该请求需要携带哪些参数

如图所示，红色方框里的就是需要携带的参数了。

最后看一看返回的数据

显而易见，返回的数据是json格式的数据。

好了，现在我们可以写程序进行爬取了

# -*-coding:utf-8-*-

__Author__ = "Mr.D"
__Date__ = '2019\5\26 0026 16:50'


from faker import Faker
import requests


ua = Faker().user_agent()
url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'


key = input("请输入你需要翻译的内容: ")


# 请求头
headers = {
    'User-Agent': ua,
    'Host': 'fanyi.youdao.com',
    'Origin': 'http://fanyi.youdao.com',
    'Referer': 'http://fanyi.youdao.com/',
}


# post请求携带的参数
from_data = {
    'i': key,
    'from': 'UTO',
    'to': 'UTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': 15588802331547,
    'sign': 3e91f2d8788201c03bfa0a672b116998,
    'ts': 1558880233154,
    'bv': '5504a5c7c19867a06038cf79d29f756a',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_REALTlME'
}


response = requests.post(url, headers=headers, data=from_data).json()
print(response)
print(response['translateResult'][0][0]['tgt'])

运行后发现报错了，"{errorCode: 50}"

什么原因呢？ 让我们分析一下。

可以自己 重新来翻译一下  "问题" 这个词，然后在看一次此次 post 请求与上一次 post 请求有什么不同之处。

经过调试，我发现 from_data 中的参数有几个是发生了变化的，分别是 "salt"，"sign"，"ts"，那么这几个参数是怎么生存的呢？

经过寻找，发现它们的生存规律在 "http://shared.ydstatic.com/fanyi/newweb/v1.0.17/scripts/newweb/fanyi.min.js" 这个  js 文件中，经过 json 格式化工具（百度）格式化之后，定位到具体的参数生成位置，

// e 为下面 r(t) 中的 t ，即我们所需要翻译的内容
var r = function(e) {
			var t = n.md5(navigator.appVersion),
				r = "" + (new Date).getTime(),
				i = r + parseInt(10 * Math.random(), 10);
			return {
				ts: r,
				bv: t,
				salt: i,
				sign: n.md5("fanyideskweb" + e + i + "n%A-rKaT5fb[Gy?;N5@Tj")
			}
		};
		t.recordUpdate = function(e) {
            // 将我们所要翻译的内容赋值给 t 
			var t = e.i,
                // 将 t 当作参数传入 r() 函数中，返回值赋给 i 
				i = r(t);
			n.ajax({
				type: "POST",
				contentType: "application/x-www-form-urlencoded; charset=UTF-8",
				url: "/bettertranslation",
                // 这里可以看出 data 就是我们post请求携带的参数字典
				data: {
                    // e.i 就是我们所要翻译的内容
					i: e.i,
					client: "fanyideskweb",
					salt: i.salt,
					sign: i.sign,
					ts: i.ts,
					bv: i.bv,
					tgt: e.tgt,
					modifiedTgt: e.modifiedTgt,
					from: e.from,
					to: e.to
				},
				success: function(e) {},
				error: function(e) {}
			})
		}

从上述代码中，我们可以得出四个参数的信息： ts，bv，salt，sign，他们分别为

ts: "" + (new Date).getTime(),
bv: n.md5(navigator.appVersion),
salt: ts + parseInt(10 * Math.random(), 10),
// e为所需要翻译的字符串, i 即salt
sign: n.md5("fanyideskweb" + e + salt + "n%A-rKaT5fb[Gy?;N5@Tj")

分析一波：

bv 是对  navigator.appVersion（这是个浏览器参数，不是字符串"navigator.appVersion"）进行 md5 加密，在相同的浏览器下，这个值是固定的（没测试过），所以直接拿F12调试出来的来用就好了。

ts 是时间戳

salt 是 ts 加上一个 0 到 10 的随机数（包括0，不包括10）

sign 是对 "fanyideskweb" + e + salt + "n%A-rKaT5fb[Gy?;N5@Tj" （这个字符串是会更新的，在js文件里可以找到）这个字符串进行 md5 加密

好了，知道以上信息，我们可以进一步完善我们的代码了，如下图：

# -*-coding:utf-8-*-

__Author__ = "Mr.D"
__Date__ = '2019\5\26 0026 16:50'


import time
from faker import Faker
import random
import hashlib
import requests


ua = Faker().user_agent()
url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'


key = input("请输入你需要翻译的内容: ")

//生成时间戳 ts
ts = str(time.time() * 1000)

// 通过 ts 加 0-10的随机整数字符生成 salt
salt = ts + str(random.randint(0, 10))
the_str = "fanyideskweb" + key + salt + "n%A-rKaT5fb[Gy?;N5@Tj"

// md5加密生成 sign
md5 = hashlib.md5()
md5.update(the_str.encode('utf-8'))
sign = md5.hexdigest()


headers = {
  
    'User-Agent': ua,
    'Host': 'fanyi.youdao.com',
    'Origin': 'http://fanyi.youdao.com',
    'Referer': 'http://fanyi.youdao.com/',
   }


from_data = {
    'i': key,
    'from': 'UTO',
    'to': 'UTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': salt,
    'sign': sign,
    'ts': ts,
    'bv': '5504a5c7c19867a06038cf79d29f756a',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_REALTlME'
}


response = requests.post(url, headers=headers, data=from_data).json()
print(response)
print(response['translateResult'][0][0]['tgt'])

完成之后再次爬取，发现还是报一样的错误。

纳尼！！ 再三检查代码，没有发现有写错任何地方啊

既然  from_data 没有写错，那么问题可能是出现在了 headers 上了

经过调试，发现每次 headers 都会携带 cookie ，而且 cookie 的值每次都不一样

'Cookie': 'OUTFOX_SEARCH_USER_ID=559238864@10.168.8.61; OUTFOX_SEARCH_USER_ID_NCOO=2061523511.1027195; _ga=GA1.2.1151109878.1551536968; _ntes_nnid=24fe647fc20f952c4040b25650f75604,1553001083850; JSESSIONID=aaaJIa27BLmlI96aStZRw; ___rl__test__cookies=1558881656766'

不一样的地方在于最后的那个 "__rl__test__cookies=" 后面的字符串不一样，然后去找到它是怎么生成的，最后终于在

"http://shared.ydstatic.com/js/rlog/v1.js" 这个js文件中找到了它

原来它也是时间戳，怪不得看起来有点像

继续完善代码

# -*-coding:utf-8-*-

__Author__ = "Mr.D"
__Date__ = '2019\5\26 0026 16:50'


import time
from faker import Faker
import random
import hashlib
import requests


ua = Faker().user_agent()
url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'


key = input("请输入你需要翻译的内容: ")

//生成时间戳 ts
ts = str(time.time() * 1000)

// 通过 ts 加 0-10的随机整数字符生成 salt
salt = ts + str(random.randint(0, 10))
the_str = "fanyideskweb" + key + salt + "@6f#X3=cCuncYssPsuRUE"

// md5加密生成 sign
md5 = hashlib.md5()
md5.update(the_str.encode('utf-8'))
sign = md5.hexdigest()


headers = {
    'User-Agent': ua,
    'Host': 'fanyi.youdao.com',
    'Origin': 'http://fanyi.youdao.com',
    'Referer': 'http://fanyi.youdao.com/',
    'Cookie': 'OUTFOX_SEARCH_USER_ID=559238864@10.168.8.61; OUTFOX_SEARCH_USER_ID_NCOO=2061523511.1027195; _ga=GA1.2.1151109878.1551536968; _ntes_nnid=24fe647fc20f952c4040b25650f75604,1553001083850; JSESSIONID=aaaJIa27BLmlI96aStZRw; ___rl__test__cookies=' + ts
}

from_data = {
    'i': key,
    'from': 'UTO',
    'to': 'UTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': salt,
    'sign': sign,
    'ts': ts,
    'bv': '5504a5c7c19867a06038cf79d29f756a',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_REALTlME'
}


response = requests.post(url, headers=headers, data=from_data).json()
print(response)
print(response['translateResult'][0][0]['tgt'])

好了，让我们运行代码看看

大功告成。

附使用 urllib 库的代码
 

# -*-coding:utf-8-*-

__Author__ = "Mr.D"
__Date__ = '2019\5\26 0026 18:07'

import urllib.request
import urllib.parse
import json
import time
import random
import hashlib
from faker import Faker


url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
ua = Faker().user_agent()

key = input("请输入你需要翻译的内容: ")
ts = str(time.time() * 1000)

salt = ts + str(random.randint(0, 10))
the_str = "fanyideskweb" + key + salt + "@6f#X3=cCuncYssPsuRUE"

md5 = hashlib.md5()
md5.update(the_str.encode('utf-8'))
sign = md5.hexdigest()

# 请求头
headers = {
    'User-Agent': ua,
    'Host': 'fanyi.youdao.com',
    'Origin': 'http://fanyi.youdao.com',
    'Referer': 'http://fanyi.youdao.com/',
    'Cookie': 'OUTFOX_SEARCH_USER_ID=559238864@10.168.8.61; OUTFOX_SEARCH_USER_ID_NCOO=2061523511.1027195; _ga=GA1.2.1151109878.1551536968; _ntes_nnid=24fe647fc20f952c4040b25650f75604,1553001083850; JSESSIONID=aaaJIa27BLmlI96aStZRw; ___rl__test__cookies=' + ts
}


# 表单数据
from_data = {
    'i': key,
    'from': 'UTO',
    'to': 'UTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': salt,
    'sign': sign,
    'ts': ts,
    'bv': '5504a5c7c19867a06038cf79d29f756a',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_REALTlME'
}

from_data = urllib.parse.urlencode(from_data).encode('utf-8')
request = urllib.request.Request(url, from_data, headers)
response = urllib.request.urlopen(request).read().decode("utf-8")

target = json.loads(response)
result = target['translateResult'][0][0]['tgt']

print(result)

总结

用到的知识点：

1. faker库随机生成 ua

2. time()函数生成时间戳

3. hashlib库进行md5加密

4. js基础知识的掌握

5. requests库的使用

其中，第四点最为重要

 

二.绕过js加密

代码这个方法非常简单，只需要将 url 中的 _o 去掉就可以了，在传递的from_data中不再需要上述几个加密的参数，只需要我们所要翻译的内容 就可以进行数据获取了

urllib 库的爬取代码如下

# -*-coding:utf-8-*-

__Author__ = "Mr.D"
__Date__ = '2019\5\26 0026 18:07'

import urllib.request
import urllib.parse
import json
from faker import Faker


// 去掉_o
url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
ua = Faker().user_agent()

key = input("请输入你需要翻译的内容: ")

# 请求头
headers = {
    'User-Agent': ua,
    'Host': 'fanyi.youdao.com',
    'Origin': 'http://fanyi.youdao.com',
    'Referer': 'http://fanyi.youdao.com/',

}


# 表单数据
from_data = {
    'i': key,
    'from': 'UTO',
    'to': 'UTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_REALTlME'
}

from_data = urllib.parse.urlencode(from_data).encode('utf-8')
request = urllib.request.Request(url, from_data, headers)
response = urllib.request.urlopen(request).read().decode("utf-8")

target = json.loads(response)
result = target['translateResult'][0][0]['tgt']

print(result)

 

在看完上面的代码之后，可以自己尝试着写出使用第二种方法和requests库进行有道翻译的爬取，来验证代码是否正确

最后，欢迎大家提问

Dumbliidore
关注
专栏目录
爬取有道翻译的两种做法！开源免费！！！
luomuwuhuixue的博客
03-20 1081
一、需要用到的工具： 先把格式化js的线上网址记录一下：http://tool.chinaz.com/Tools/jsformat.aspx 二、分析流程、 有道翻译分析过程 （1）翻译过程中会发起请求 response中可以看到响应的结果 （2）Headers最下面，Form Data许多的数据，这些数据就是在点击翻译的时候浏览器给服务器发送的数据 在这里插入图片描述 （3） i：需要进行翻译...
Python 3 最新有道翻译爬取，破解反爬机制，解决{"errorCode":50}错误
兰君
02-24 2765
文章目录问题有人说：需要修改URL继续实现我们伟大的计划：完成完美的爬虫！附上python3爬虫完美代码：补充说明 问题 因为有道翻译有反爬虫机制，所以简单的爬肯定不行，最近用Python3 写了一个有道翻译的爬虫程序…… 然而，返回结果却是{“errorCode”:50}，百感交集。 有人说：需要修改URL 我的URL：http://fanyi.youdao.com/translate_o?sm...
基于有道API的翻译（python3）
10-30
python3写的基于有道API的翻译程序，可以做到中英互译
Python3-有道翻译
cjm_01的博客
05-30 357
Python3爬虫-有道翻译1、打开有道翻译2、Network下搜索translate并点击框选内容3、获取目标网址4、查看Form Data5、编写代码 1、打开有道翻译 有道翻译 随意填写一个内容如“Tom” 2、Network下搜索translate并点击框选内容 3、获取目标网址 注意：把_o删除 4、查看Form Data 5、编写代码 import requests import json if __name__ == "__main__": #目标网址 url="htt
2024年4款在线翻译，从此翻译论文So Easy～
最新发布
2401_85664886的博客
08-21 986
嘿，朋友们！现在咱们这世界就像个村子，学术界也没啥界限了，翻译论文成了咱们的平常事。一想到那些外文资料，头都大了，对吧？别担心，科技来帮忙了！2024年，翻译界冒出了几个新星，它们都特别火。咱们今天就来聊聊，这些工具是真的能帮我们翻译论文的神器，还是只是看起来很酷的摆设？
【Python】使用POST方式抓取有道翻译结果
Jason的技术探索与分享
01-18 1025
1.安装requests库     2.打开有道翻译，按下F12,进入开发者模式，输入我爱青青，点击Network,再点击XHR 3、撰写爬虫 import requests import json # 使用有道翻译 def get_translate_date(word=None): # 错误 url = 'http://fanyi....
【Python3爬虫】有道翻译
qzq1221的博客
06-16 1439
准备：Python3.5+Chrome+Pycharm步骤：（1）打开有道翻译的网页，然后鼠标右键检查（或者按F12），再输入一个单词（例如book），在XHR选项中可以看到这条信息，也就是说我们要利用post把要翻译的内容发送出去，然后再获取返回的信息，就能得到翻译的结果了。（2）打开Pycharm，新建一个test.py，代码如下：import requests def main(): ...
python3:爬有道翻译(命令行版）
lxy210781的专栏
07-13 1632
python:3.6.5未用第三方库/一个简单的爬虫/用于实现有道翻译，查词无忧了。问题?其实写这个的过程中，遇到了一个问题，当前爬起的结果，只有一个结果，并没有爬取到更多的结果。在网上也找了很久，一直没有找到答案，走过路过，如果有缘人你看到了我的问题刚好又有解决方案，请帮忙留言，谢谢. 这个就是我这到的返回结果：而事实上在浏览器端看到返回的json是这样的;百思不得其解，而想到为selenium...
基于python爬取有道翻译过程图解
09-17
本篇文章将详细讲解如何使用Python来爬取有道翻译的过程，这对于自动化翻译任务或数据分析非常有用。 首先，我们需要了解基本的网络请求原理。HTTP协议中的GET和POST方法是两种主要的请求类型。GET用于获取服务器上...
Python学习之用Requests和XPath多进程爬取有道单词数据
Leslie_Waong的博客
07-10 562
基础知识 爬虫基本原理 1、发起请求 使用http库向目标站点发起请求，即发送一个Request Request中包含哪些内容？ （1）请求方式 主要是GET、POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。 （2）请求URL URL全称是统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL来唯一来确定 （3）请求头 包含请求时的头部信息，如User-...
用Python破解有道翻译反爬虫机制
jspython的博客
05-09 655
破解有道翻译反爬虫机制 web端的有道翻译，在之前是直接可以爬的。也就是说只要获取到了他的接口，你就可以肆无忌惮的使用他的接口进行翻译而不需要支付任何费用。那么自从有道翻译推出他的API服务的时候，就对这个接口做一个反爬虫机制（如果大家都能免费使用到他的翻译接口，那他的API服务怎么赚钱）。这个反爬虫机制在爬虫领域算是一个非常经典的技术手段。那么他的反爬虫机制原理是什么？如何破解？接下来带大家一探究竟。 一、正常的爬虫流程： 如果你要爬取他的翻译接口，这个流程还是不能少的。首先我们打开有道翻译的链接：htt
一、使用requests模块post请求爬取有道翻译结果
象牙塔小明的博客
08-15 1113
一、先直接上代码 key是要翻译的词，输出是翻译结果： # -*- coding:utf-8 -*- # @FileName :1.4有道翻译_post请求.py # @Time :2021/8/15 19:39 # @Author :象牙塔小明 import requests import re url = "https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule" key = "学习" for
爬取有道翻译
weixin_55050737的博客
09-23 906
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 爬取 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import p
python3:爬有道翻译(第三方库requests版)
lxy210781的专栏
07-13 2550
上一篇：python3:爬有道翻译是没有用到第三方库的，这一篇将通过requests+lxml来爬取有道翻译的结果.第三方库的安装：requests安装: pip install requests不多说，上code,请各位看官对比一下不同点:#!/user/bin/python #-*- coding:utf-8 -*- import requests def youdaoTranslate(...
爬取有道翻译和百度翻译
dandan_xiaoa的博客
05-05 693
有道翻译和百度翻译网页编码方式不同，所以爬取方法也不一样。 百度的代码： import requests key = str(input('输入单词：')) url = 'https://fanyi.baidu.com/sug' headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Appl...
Python 爬取有道翻译
realmels的博客
07-18 727
前情提要 爬取的网站http://fanyi.youdao.com/ 遵循业内规则，我们先看一下robots协议http://fanyi.youdao.com/robots.txt 内容是这样的 OK，可以爬取，那我们就正式开始 分析网页 我们爬虫的第一步自然是先要分析网页，我们先随便输入两个单词 可以看到，我们在输入内容后，右侧自动出现了翻译结果，这种情况一般是ajax异步加载 这里介绍一下什么是ajax异步加载 AJAX 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。 摘自htt
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值