尝试过爬取百度翻译的朋友应该都会注意到当我们在构造表单时,表单字段中有一个sign值是不断变化的,而寻找这个字段的值也正是百度翻译爬虫的难点,本篇文章专门针对这一点利用js逆向解析获取所需的sign值,如有错误,希望大佬指出。
一寻找js代码
首先我们要寻找出生成sign值的js代码,打开开发者工具,当我们在百度翻译输入内容后,会发现network出现了很多网址,在里面找出我们需要请求的网址,按下Ctrl+Shift+F进入全局搜索命令,在搜索框中输入sign按下回车会出现下图所示情况,点击进入相应的js文件:
然后点击左下方的花括号,按住Ctrl+F进入搜索命令,输入框中输入sign:
点击上下箭头,挨个查看,我们会发下在匹配项中有这么一行代码:
很明显这是对sign进行赋值,后面的函数y(n)就是生成sign值的函数,我们在此处打一个断点,然后点击翻译,页面会在断点处停止,按下F11,使代码跳转到y(n)所对应的函数:
我们可以看到函数的参数r就是我们翻译的内容,将e()函数复制粘贴到我们自己的js文件中,使用python执行此函数:
import execjs
with open("百度翻译.js", "r", encoding="utf-8") as f:
js = execjs.compile(f.read())
sign = js.call("e", "我")
遗憾的是python并没有返回我们想要的结果,反而抛出了一个错误,说 i 没有定义:
接下来要做的就是寻找 i 值,我们在开发者工具的watch中添加监听变量 i, 点击翻译,然后按下F11进入e函数,多试几次我们就会发下 i 是一个定值:
所以我们在我们的js文件首行添加变量 i 的声明:
var i = "320305.131321201";
重新执行我们的python程序,不过遗憾的是我们的程序又报错了:
这一次是n没有定义,仔细查看e函数的代码,发现函数末尾调用了n函数:
同样,我们在此处打一个断点(将之前sign处的断点去掉),然后点击翻译,页面在此处停止,按下F11会进入n函数所在处,将n函数代码赋值粘贴到我们的js文件末尾:
继续运行我们的python程序,这一次程序没有报错,而是返回了我们想要的结果:
至此,我们对sign值的寻找结束,js逆向的过程可能比较繁琐,不过幸运的是比起知乎和微博,百度翻译的过程还算比较简洁
二完整js代码
var i = '320305.131321201';
function e(r) {
var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
if (null === o) {
var t = r.length;
t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
} else {
for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
"" !== e[C] && f.push.apply(f, a(e[C].split(""))),
C !== h - 1 && f.push(o[C]);
var g = f.length;
g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
}
var u = void 0
, l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
u = null !== i ? i : (i = window[l] || "") || "";
for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
var A = r.charCodeAt(v);
128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
S[c++] = A >> 18 | 240,
S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
S[c++] = A >> 6 & 63 | 128),
S[c++] = 63 & A | 128)
}
for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
p += S[b],
p = n(p, F);
return p = n(p, D),
p ^= s,
0 > p && (p = (2147483647 & p) + 2147483648),
p %= 1e6,
p.toString() + "." + (p ^ m)
}
function n(r, o) {
for (var t = 0; t < o.length - 2; t += 3) {
var a = o.charAt(t + 2);
a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
}
return r
}