上次爬取了歌手的热门歌曲,这次就来爬取热门歌曲的热门评论
热门评论可没歌曲那么容易搞到手,还好有前辈们写过类似的爬虫,所以有许多资料参考。
lyrichu这位作者也写了一篇关于网易云热门评论的爬虫,写的很详细,可以去看看
http://www.cnblogs.com/lyrichu/p/6635798.html
关于爬取热门评论的主要难点就是,在歌曲评论的页面用一般方法去爬会获取不到数据。
通过审查元素找到这个
这上面的request url:http://music.163.com/weapi/v1/resource/comments/R_SO_4_186016?csrf_token=c7e805bd515022659ffce692fe41a1b3
自己打不开,用爬虫也得不到数据。值得注意的是这里用的方法是POST而不是GET,但无论是GET还是POST都不行。
经过一番查找,只需要确定params和encSceKey两个参数,就能得到评论。
这俩参数是加过密的,要想得到所有的评论就必须知道加密的方式。有许多人已经破解加密的方式了,有兴趣可以去看看https://www.zhihu.com/question/21471960这个问题里@路人甲的回答和https://www.zhihu.com/question/36081767这个问题@平胸小仙女的回答
既然我们爬的是热门评论,就是单独的一页评论,params和encSceKey两个参数直接拿来用就好。
经测试params和encSceKey两个参数可以用在不同的歌曲的热门评论。