爬取网易云音乐评论

爬取网站介绍与分析

• 网站介绍
  本次爬取的是网易云音乐（https://music.163.com/）的评论信息，以音乐榜单中的云音乐飙升榜为例，点击“查看全部”，其中展示了100首飙升榜音乐，爬取这100首歌每首前10页的音乐评论，共计约2万条评论信息。
  

• 爬虫目的
  爬取网易云音乐评论

• 页面分析
  评论页面的请求经过JS处理，每页评论的url地址通过post请求发送给服务端，FormData包含两个参数，分别是params和encSecKey，可见实现翻页需要的部分参数被加密隐藏在FormData中。
  

• 爬取思路
  1.获取飙升榜音乐页面响应对象
  2.解析出100首歌曲的id,拼接出评论的url
  3.发送请求，获取关于评论信息响应对象
  4.解析出每首歌曲的评论信息
  5.存入到MongoDB数据库

JS分析(关键点已在图中标出)

1.params和encSecKey的属性值来自bUQ4U,window.asrsea()创建的对象赋值给bUQ4U。

2.window.asrsea就是d，所有关键就在分析下图中a()函数、b()函数、c()函数和d()函数，接下来就是进行JS的断点分析。

3.AES加密的使用了Python第三方包实现，RSA加密也可以通过第三方包实现，下面展示了两种方法处理RSA加密，一是我自己通过分析js，运行js代码来获取加密数据，由于js代码比较长就展示一部分，二是借鉴了网上大神的算法

jsfile.txt

function biMultiplyDigit(a, b) {
var c, d, e, f;
for (result = new BigInt, c = biHighIndex(a), d = 0, f = 0; c >= f; ++f) e = result.digits[f] + a.digits[f] * b + d,
result.digits[f] = e & maxDigitVal,
d = e >>> biRadixBits;
return result.digits[1 + c] = d,
result
}
function arrayCopy(a, b, c, d, e) {
var g, h, f = Math.min(b + e, a.length);
for (g = b, h = d; f > g; ++g, ++h) c[h] = a[g]
}
function biShiftLeft(a, b) {
var e, f, g, h, c = Math.floor(b / bitsPerDigit),
d = new BigInt;
for (arrayCopy(a.digits, 0, d.digits, c, d.digits.length - c), e = b % bitsPerDigit, f = bitsPerDigit - e, g = d.digits.length - 1, h = g - 1; g > 0; --g, --h) d.digits[g] = d.digits[g] << e & maxDigitVal | (d.digits[h] & highBitMasks[e]) >>> f;
return d.digits[0] = d.digits[g] << e & maxDigitVal,
d.isNeg = a.isNeg,
d
}
function biShiftRight(a, b) {
var e, f, g, h, c = Math.floor(b / bitsPerDigit),
d = new BigInt;
for (arrayCopy(a.digits, c, d.digits, 0, a.digits.length - c), e = b % bitsPerDigit, f = bitsPerDigit - e, g = 0, h = g + 1; g < d.digits.length - 1; ++g, ++h) d.digits[g] = d.digits[g] >>> e | (d.digits[h] & lowBitMasks[e]) << f;
return d.digits[d.digits.length - 1] >>>= e,
d.isNeg = a.isNeg,
d
}
function biMultiplyByRadixPower(a, b) {
var c = new BigInt;
return arrayCopy(a.digits, 0, c.digits, b, c.digits.length - b),
c
}
function biDivideByRadixPower(a, b) {
var c = new BigInt;
return arrayCopy(a.digits, b, c.digits, 0, c.digits.length