学习Python有一个月了。在同学眼里自己每天都在电脑边上,看上去应该贴别厉害了。其实不然,自己感觉一直在原地踏步,学了些东西,说说自己学了些什么东西,自己也说不上来,可能没做什么实际的事情,没有目标。不知道从何下手。
说下自己现在学到的知识吧,urllib,beautifulsoup,正则,scrapy,threading,但自己不知道该拿这些东西做什么,找到网上的项目,发现还差好多知识。都不知道该么子搞了。如果哪些师兄有什么好的学习方法和建议,还希望不吝赐教,一定感激不尽。
—————————————-分割线——————————————————-
-
(一)
基于urllib.request实现Google翻译
- 进入Google翻译,F12进入开发者模式,点击翻译观察AHR中的变化就可以了。这个还是会的按照自己以前搞有道翻译的那样发现根本搞不通通了,因为里面有个一 tk的值会跟自己输入的文字对应,所以不会了。听说是网站使用了什么 js算法加密。后来偶然看到一篇文章,终于明白点了。具体代码如下:
import execjs
class Get_tk():
def __init__(self):
# 编译并加载 js内容
self.ctx = execjs.compile("""
function TL(a) {
var k = "";
var b = 406644;
var b1 = 3293161072;
var jd = ".";
var $b = "+-a^+6";
var Zb = "+-3^+b+-f";
for (var e = [], f = 0, g = 0; g < a.length; g++) {
var m = a.charCodeAt(g);
128 > m ? e[f++] = m : (2048 > m ? e[f++] = m >> 6 | 192 : (55296 == (m & 64512) && g + 1 < a.length && 56320 == (a.charCodeAt(g + 1) & 64512) ? (m = 65536 + ((m & 1023) << 10) + (a.charCodeAt(++g) & 1023),
e[f++] = m >> 18 | 240,
e[f++] = m >> 12 & 63 | 128) : e[f++] = m >> 12 | 224,
e[f++] = m >> 6 & 63 | 128),
e[f++] = m & 63 | 128)
}
a = b;
for (f = 0; f < e.length; f++) a += e[f],
a = RL(a, $b);
a = RL(a, Zb);
a ^= b1 || 0;
0 > a && (a = (a & 2147483647) + 2147483648);
a %= 1E6;
return a.toString() + jd + (a ^ b)
};
function RL(a, b) {
var t = "a";
var Yb = "+";
for (var c = 0; c < b.length - 2; c += 3) {
var d = b.charAt(c + 2),
d = d >= t ? d.charCodeAt(0) - 87 : Number(d),
d = b.charAt(c + 1) == Yb ? a >>> d: a << d;
a = b.charAt(c) == Yb ? a + d & 4294967295 : a ^ d
}
return a
}
""")
def get_tk(self, text):
return self.ctx.call("TL", text)
-
上面这代码就是在别人那看到的,里面Python执行一个
js的文本,提供了Google所需的tk值。(这人真心厉害。!
大神)
下面是自己的一些参考代码:
import urllib.request,urllib.parse
import json
def translate(content):
url = 'https://translate.google.cn/translate_a/single?'
tk_cls = Get_tk()
tk = tk_cls.get_tk(content)
# 要传入的表单数据data
data = {
'client': 't',
'sl': 'auto',
'tl': 'zh-CN', # 当前语言
'hl': 'zh-CN',
'dt': 'at',
'dt': 'bd',
'dt': 'ex',
'dt': 'ld',
'dt': 'md',
'dt': 'qca',
'dt': 'rw',
'dt': 'rm',
'dt': 'ss',
'dt': 't',
'ie': 'UTF-8',
'oe': 'UTF-8',
'source': 'btn',
'ssel': '3',
'tsel': '0',
'kc': '0',
'tk': tk,
'q': content}
# 使用urllib.paese.urlencode()来是字典符合url要求。再编码成 utf-8()因为要求提交的数据必须为二进制
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url,data)
req.add_header('User-Agent', generate_user_agent())
response = urllib.request.urlopen(req)
text = response.read().decode('utf-8')
print(text)
if __name__ == '__main__':
content = input("请输入要翻译的内容:")
translate(content)
上面的代码,只是显示出包含翻译结果的一个字典。具体解析我就没做了。因为这跟我下面要讲的有道字典方法是一样的。这就不多说了。。
-
(二)
基于urllib.request的有道字典翻译的实现
-
首先呢,进入有道翻译,按
F12进入开发者模式,然后随便输入文字,点击翻译观察AHR中网站变化,点进去可以看到一个Form DATA的表单,里面包含了刚刚提交的一些信息。
所以呢,我们模拟这种方式即可上传我们要翻译的信息。
那么,我们上传到那个网站呢?这时候,找到
request url即为我们要提交信息的网站。具体代码如下:
# -*- coding: utf-8 -*-
import urllib.request, urllib.parse
import json
# 下面这个库主要用来随机生成user—agent
from user_agent.base import generate_user_agent
# content为需要翻译的字符串
def translate(content):
url = 'http://fanyi.youdao.com/translate?smartresult = dict&smartresult = rule&sessionFrom='
# 要传入的表单数据data
data = {}
data['type'] = 'AUTO'
data['i'] = content
data['doctype'] = 'json'
data['xnlVersion'] = '1.6'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['typeResult'] = 'true'
data['from'] = 'auto'
data['to'] = 'auto'
data['smartresult'] = 'dict'
我们确定了网址和要提交的信息,那么我们怎么实现翻译呢?再给出下面代码:
“`
使用urllib.paese.urlencode()来是字典符合url要求。再编码成 utf-8()因为要求提交的数据必须为二进制
data = urllib.parse.urlencode(data).encode(‘utf-8’)
# 生成Request请求头
req = urllib.request.Request(url, data)
req.add_header(‘User-Agent’, generate_user_agent())
response = urllib.request.urlopen(req)
text = response.read().decode('utf-8')
# 转换成Python中的字典格式方便读取
text = json.loads(text)
print(text['translateResult'][0][0]['tgt'])
程序运行结果如下:
“`
总的来说就算完成啦。我要重新摸清方向了,各位仁兄,给点学习这么语言的方法吧。先谢谢啦