之前写过爬虫爬取有道翻译实现简单翻译,并且不带GUI页面,而且当时写的时候有道官网还没没有反爬虫机制,时隔几月,有道翻译的网页版有了很大声的变化,所以正好在网易云课堂上找到一个有关破解有道翻译反爬虫机制的课程,顺带加上了使用tkinter时间桌面话,并采用cx_Freeze打包成在没有预装Python环境的windows环境下可以执行的exe文件,其实现在导包成可执行的exe文件,好像py2exe比较常用的,后期我会在好好研究研究,
只是一个非常简单的翻译软件,没有其他功能,只有翻译功能,具体开发流程如下:
- 写爬虫代码,实现翻译功能,
- 破解有道翻译的反爬虫机制(这是比较关键的)
- 使用tkinter写GUI页面
- 将后台爬虫代码和前台GUI页面结合起来
打包成exe文件(其实是生成了一个安装程序,msi文件,打包的时候顺带将exe文件也生成了)
首先爬取的网页url:
http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
然后再找到发送个给服务器的表单
这表单里面的内容是都需要在代码中发送给服务器的,主要难在表单中的内容,反爬虫的主要就是加密向服务器提交表单的动态值,在这里面,可以很容易的就看出来安歇键值对是动态的,即哪些键对应的值是每次都有变化的,可以看出来,salt和sign对应的值是每次都变的,所以就找这两个值是怎么升成的,其实一般网站生成的反爬加密值都是采用的时间戳,以及将一下字符串使用加密算法加密一下,这里我们在网页源代码中找到提交给服务器表单的js文件
如图
在浏览器上打开js文件复制下来(因为直接看的话,没有代码格式,很痛苦,找不到有用的信息)
然后有个在线js代码格式化网站 http://tool.oschina.net/codeformat/js
格式化一下复制到sublime中(我使用的是sublime)然后查询salt 和sign 可以很快找到表单
如图:
简单分析一下可以发现salt和sign所对应的值是怎么生成的,具体实现代码:
#获取的是秒
timestamp = int(time.time()*1000) + random.randint(0,10) #转换为毫秒 再扎转换为整型
print("发送给服务器的salt字符串:",timestamp)
word = input('请输入单词或者句子:')
#i = n.md5("fanyideskweb" + t + r + "aNPG!!u6sesA>hBAW1@(-");
u = "fanyideskweb"
t = word
r = str(timestamp)
s = "aNPG!!u6sesA>hBAW1@(-"
#sign所对应的值是采用md5加密的,在Python中,有专门的库可以实现此加密算法
sign = hashlib.md5((u+t+r+s).encode('utf-8')).hexdigest()
print("发送给服务器的sign字符串",sign)
这样就获得到了salt和sign的值,剩下的就是写爬虫代码了,就很简单了,直接贴代码:
import urllib.request
import urllib.parse
import time
import random
import hashlib # 加密
import json
#获取的是秒
timestamp = int(time.time()*1000) + random.randint(0,10) #转换为毫秒 再扎转换为整型
print("发送给服务器的salt字符串:",timestamp)
word = input('请输入单词或者句子:')
#i = n.md5("fanyideskweb" + t + r + "aNPG!!u6sesA>hBAW1@(-");
u = "fanyideskweb"
t = word
r = str(timestamp)
s = "aNPG!!u6sesA>hBAW1@(-"
#sign所对应的值是采用md5加密的,在Python中,有专门的库可以实现此加密算法
sign = hashlib.md5((u+t+r+s).encode('utf-8')).hexdigest()
print("发送给服务器的sign字符串",sign)
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
head = {}
head['User-Agent'] =