Python 3爬虫实现有道翻译+GUI并打包成exe文件

之前写过爬虫爬取有道翻译实现简单翻译,并且不带GUI页面,而且当时写的时候有道官网还没没有反爬虫机制,时隔几月,有道翻译的网页版有了很大声的变化,所以正好在网易云课堂上找到一个有关破解有道翻译反爬虫机制的课程,顺带加上了使用tkinter时间桌面话,并采用cx_Freeze打包成在没有预装Python环境的windows环境下可以执行的exe文件,其实现在导包成可执行的exe文件,好像py2exe比较常用的,后期我会在好好研究研究,
只是一个非常简单的翻译软件,没有其他功能,只有翻译功能,具体开发流程如下:

  1. 写爬虫代码,实现翻译功能,
  2. 破解有道翻译的反爬虫机制(这是比较关键的)
  3. 使用tkinter写GUI页面
  4. 将后台爬虫代码和前台GUI页面结合起来
  5. 打包成exe文件(其实是生成了一个安装程序,msi文件,打包的时候顺带将exe文件也生成了)

    首先爬取的网页url:
    http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
    这里写图片描述
    然后再找到发送个给服务器的表单
    这里写图片描述

这表单里面的内容是都需要在代码中发送给服务器的,主要难在表单中的内容,反爬虫的主要就是加密向服务器提交表单的动态值,在这里面,可以很容易的就看出来安歇键值对是动态的,即哪些键对应的值是每次都有变化的,可以看出来,salt和sign对应的值是每次都变的,所以就找这两个值是怎么升成的,其实一般网站生成的反爬加密值都是采用的时间戳,以及将一下字符串使用加密算法加密一下,这里我们在网页源代码中找到提交给服务器表单的js文件
如图这里写图片描述
在浏览器上打开js文件复制下来(因为直接看的话,没有代码格式,很痛苦,找不到有用的信息)
然后有个在线js代码格式化网站 http://tool.oschina.net/codeformat/js
格式化一下复制到sublime中(我使用的是sublime)然后查询salt 和sign 可以很快找到表单
如图:
这里写图片描述
简单分析一下可以发现salt和sign所对应的值是怎么生成的,具体实现代码:

#获取的是秒
timestamp = int(time.time()*1000) + random.randint(0,10) #转换为毫秒 再扎转换为整型
print("发送给服务器的salt字符串:",timestamp)
word = input('请输入单词或者句子:')

#i = n.md5("fanyideskweb" + t + r + "aNPG!!u6sesA>hBAW1@(-");

u = "fanyideskweb"
t = word
r = str(timestamp)
s =  "aNPG!!u6sesA>hBAW1@(-"

#sign所对应的值是采用md5加密的,在Python中,有专门的库可以实现此加密算法
sign = hashlib.md5((u+t+r+s).encode('utf-8')).hexdigest()
print("发送给服务器的sign字符串",sign)

这样就获得到了salt和sign的值,剩下的就是写爬虫代码了,就很简单了,直接贴代码:

import urllib.request
import urllib.parse
import time
import random
import hashlib # 加密
import json


#获取的是秒
timestamp = int(time.time()*1000) + random.randint(0,10) #转换为毫秒 再扎转换为整型
print("发送给服务器的salt字符串:",timestamp)
word = input('请输入单词或者句子:')

#i = n.md5("fanyideskweb" + t + r + "aNPG!!u6sesA>hBAW1@(-");

u = "fanyideskweb"
t = word
r = str(timestamp)
s =  "aNPG!!u6sesA>hBAW1@(-"

#sign所对应的值是采用md5加密的,在Python中,有专门的库可以实现此加密算法
sign = hashlib.md5((u+t+r+s).encode('utf-8')).hexdigest()
print("发送给服务器的sign字符串",sign)
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
head = {}
head['User-Agent'] = 
  • 4
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值