网易云音乐歌单详情列表爬虫破解

这次我跟大家分享的是关于爬虫加密破解的技术！

由于工作开发的需求，后台需要爬取网易云歌单详情页面（http://music.163.com/#/playlist?id=867413461）的歌单歌曲列表。

但在chrome抓包过程中发现，网易云后台返回的数据json串是加密成一堆类似base64编码的内容，但我尝试解码几种编码，发现又不是常见的编码。如下图所示：

 

 

本着做技术的钻研精神，继续深挖下去，猜测这个是客户端js解密，因为chrome抓包没发现有调别的接口进行解密之类的。于是用chrome debug js， 从几万行的，混淆压缩过的js代码文件中，终于找到

了进行解密的那行代码（T_T我发现很多JS函数都是没触发到的，估计是一个公共js）。 

 

 

这个函数很简单，就是URLdecode，但这些参数怎么来的，解密过程是怎样的。 经过又一轮chromedebug， bml1x和VQ6K两个参数是html document的某个元素属性值，每次都是动态的，不固定，所以不能写死，必须每次jsoup去解析获取。D0x就是json串的密文，也是每次动态变化的， jsoup去解析获取。知道3个参数怎么来了，然后就要搞清楚js的解密过程。由于js解密函数调用层次很深，也很复杂，不是三两下能搞懂，于是截取这部分加密调用链的js出来放到本地，用java 调用这部分js 解密函数。 

经过js代码稍微整理，最后终于可以调通，解密出正确的json数据串。

 

 

 最后附上我整理好的java代码和js 解密代码出来，给大家参考。

//httpRequestExecutor 可以用httpclient替代, 运行jdk版本1.8	

        @Test
	public void test163PlaylistNew() throws ScriptException, UnsupportedEncodingException {
		Long begin = System.currentTimeMillis();
		String url = "http://music.163.com/playlist?id=632977303";
		Header[] headers = new BasicHeader[] { new BasicHeader("User-Agent",
				"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36"),
				new BasicHeader("Referer",
						"http://music.163.com/"),
				new BasicHeader("Upgrade-Insecure-Requests",
						"1"),
				new BasicHeader("Cookie",
						"appver=1.5.0.75771"),
		};
		String html = httpRequestExecutor.sendHttpGet(url,"utf-8",headers);
		Document doc = Jsoup.parse(html);
		String key2 = doc.getElementById("m-playlist").childNode(1).childNode(1).childNode(1).childNode(1).attr("id");
		key2 = StringUtils.substring(key2,8,12);
		System.out.println(key2);
		String key1 = doc.getElementsByClass("j-img").first().attr("data-key");
		System.out.println(key1);
		String param = "param=";
		String encryptedjson