python 爬取海量网易云评论并写入数据库

本人是一个网易云音乐的重度患者，最近闲来无事，就想起来写一个爬虫爬一下网易云音乐上都有哪些有趣的评论，于此记录一下过程。

整体思路

可能是我的脑回路那啥，作为一个新手，咱一上来，是直接尝试爬取评论。随便挑了一首歌，进行尝试，看是否能够拿到评论数据。虽然过程有些曲折，但还是让咱拿到了评论。于是开始正儿八经进行分析，应该如何才能拿到大量的评论数据。经过咱的观察。我发现，每一首歌都有一个 id ，如果能够获取到这首歌的 id ，就可以爬取到这首歌的评论数据。那么，如何获取歌曲的 id 呢？问的好，经过我的尝试，我发现，歌单中包含了歌曲的 id ，而且歌单也是利用 id 进行管理的。简单理一下，思路就出来了，我们可以先爬取一定量的歌单，取出歌单的 id ；然后通过歌单的 id 爬取歌单中包含的歌曲的 id ；最后，利用得到的歌曲 id 爬取相应的评论数据。

获取歌单的id