这次我跟大家分享的是关于爬虫加密破解的技术!
由于工作开发的需求,后台需要爬取网易云歌单详情页面(http://music.163.com/#/playlist?id=867413461)的歌单歌曲列表。
但在chrome抓包过程中发现,网易云后台返回的数据json串是加密成一堆类似base64编码的内容,但我尝试解码几种编码,发现又不是常见的编码。如下图所示:
本着做技术的钻研精神,继续深挖下去,猜测这个是客户端js解密,因为chrome抓包没发现有调别的接口进行解密之类的。于是用chrome debug js, 从几万行的,混淆压缩过的js代码文件中,终于找到
了进行解密的那行代码(T_T我发现很多JS函数都是没触发到的,估计是一个公共js)。
这个函数很简单,就是URLdecode,但这些参数怎么来的,解密过程是怎样的。 经过又一轮chromedebug, bml1x和VQ6K两个参数是html document的某个元素属性值,每次都是动态的,不固定,所以不能写死,必须每次jsoup去解析获取。D0x就是json串的密文,也是每次动态变化的, jsoup去解析获取。知道3个参数怎么来了,然后就要搞清楚js的解密过程。由于js解密函数调用层次很深,也很复杂,不是三两下能搞懂,于是截取这部分加密调用链的js出来放到本地,用java 调用这部分js 解密函数。
经过js代码稍微整理,最后终于可以调通,解密出正确的json数据串。
最后附上我整理好的java代码和js 解密代码出来,给大家参考。
//httpRequestExecutor 可以用httpclient替代, 运行jdk版本1.8
@Test
public void test163PlaylistNew() throws ScriptException, UnsupportedEncodingException {
Long begin = System.currentTimeMillis();
String url = "http://music.163.com/playlist?id=632977303";
Header[] headers = new BasicHeader[] { new BasicHeader("User-Agent",
"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36"),
new BasicHeader("Referer",
"http://music.163.com/"),
new BasicHeader("Upgrade-Insecure-Requests",
"1"),
new BasicHeader("Cookie",
"appver=1.5.0.75771"),
};
String html = httpRequestExecutor.sendHttpGet(url,"utf-8",headers);
Document doc = Jsoup.parse(html);
String key2 = doc.getElementById("m-playlist").childNode(1).childNode(1).childNode(1).childNode(1).attr("id");
key2 = StringUtils.substring(key2,8,12);
System.out.println(key2);
String key1 = doc.getElementsByClass("j-img").first().attr("data-key");
System.out.println(key1);
String param = "param=";
String encryptedjson = doc.getElementsByAttributeValue("style","display:none;").first().text();
String key = param + key2 + key1;
System.out.println(encryptedjson);
System.out.println(key);
String result = compi