背景说明
最近在爬取网站数据时,碰到提取到的a标签的url与真实的url地址不同,将a标签中的部分内容进行了加密处理,再拼接处理,拿到真实的url,进行访问。
示例及分析
a标签: a标签href属性
http://www.sdggzyjy.gov.cn/jsgczbgg/2803000.jhtml
真实url:真实地址
http://www.sdggzyjy.gov.cn/jsgczbgg/V6MerV5ghNJQJOl+vAZ2vA.jhtml
加密文件:
$(function () {
$("a").click(function () {
var hh = $(this).attr("href");
// 切割url http://www.sdggzyjy.gov.cn/jsgczbgg/2803000.jhtml
var aa = hh.split("/");
var aaa = aa.length;
var bbb = aa[aaa - 1].split('.');
// ccc 为 加密部分字符串 如 2803000
var ccc = bbb[0];
var cccc = bbb[1];
var r = /^\+?[1-9][0-9]*$/;
if (r.test(ccc) && cccc.indexOf('jhtml') != -1) {
//开始进行加密处理 此处开始调用 jquery.lyh-1.1.0.js 文件中的方法
var srcs = CryptoJS.enc.Utf8.parse(ccc);
var k = CryptoJS.enc.Utf8.parse(s);
var en = CryptoJS.AES.encrypt(srcs, k, {mode: CryptoJS.mode.ECB, padding: CryptoJS.pad.Pkcs7});
var ddd = en.toString();
ddd = ddd.replace(/\//g, "^");
// ddd= V6MerV5ghNJQJOl+vAZ2vA
ddd = ddd.substring(0, ddd.length - 2);
var bbbb = ddd + '.' + bbb[1];
aa[aaa - 1] = bbbb;
var uuu = '';
for (i = 0; i < aaa; i++) {
uuu += aa[i] + '/'
}
uuu = uuu.substring(0, uuu.length - 1);
window.open(uuu)
}
})
});
经过调试,确定调用文件为: jquery.lyh-1.1.0.js
解决方案
开始进行了比较多的尝试,无意中看到该篇文章:python3.6执行AES加密及解密方法
尝试直接进行AES解密,竟然成功了,代码如下
from Crypto.Cipher import AES
import base64
def add_to_16(s):
while len(s) % 16 != 0:
s += (16 - len(s) % 16) * chr(16 - len(s) % 16)
return str.encode(s) # 返回bytes
def get_secret_url(text,key='qnbyzzwmdgghmcnm'):
aes = AES.new(str.encode(key), AES.MODE_ECB) # 初始化加密器,本例采用ECB加密模式
encrypted_text = str(base64.encodebytes(aes.encrypt(add_to_16(text))), encoding='utf8').replace('\n', '') # 加密
encrypted_text=encrypted_text.replace('/', "^") # ddd.replace(/\//g, "^")
return encrypted_text[:-2]
def get_real_url(first_url,key):
aa=first_url.split('/')
aaa=len(aa)
bbb=aa[aaa - 1].split('.')
ccc = bbb[0]
secret_text=get_secret_url(ccc,key=key)
return first_url.replace(ccc,secret_text)
url='http://www.sdggzyjy.gov.cn/jsgczbgg/2803000.jhtml'
key='******' # 此处问加密key值
url=get_real_url(s,key=key)
print(url)
结果 : http://www.sdggzyjy.gov.cn/jsgczbgg/V6MerV5ghNJQJOl+vAZ2vA.jhtml
注意
该处解密使用的是 : AES —pkcs5补码方式
而在调用jQuery文件时,传参值是 CryptoJS.pad.Pkcs7 具有一定的误导性
究其原因:因为AES并没有64位的块, 如果采用PKCS5, 那么实质上就是采用PKCS7
参看:https://www.cnblogs.com/raymond531/p/10420751.html