爬虫练习四：爬取b站番剧字幕

由于个人经常在空闲时间在b站看些小视频欢乐一下，这次就想到了爬取b站视频的弹幕。

这里就以番剧《我的妹妹不可能那么可爱》第一季为例，抓取这一番剧每一话对应的弹幕。

 

1. 分析页面

这部番剧的第一季就有15话，所以我们首先需要找到每一话对应的url，然后再去爬取每一话的弹幕。

1.1 找到每一话对应的url 

打开番剧的首页，可以看到每一话的信息就展示在图中位置。

照惯例，我们首先对当前请求网页返回的数据进行查看，发现请求该url返回的只有一点简略的番剧信息，根本没有每一话的信息。

但是我们在浏览器中又确实能够看到每一话的信息，所以推测，这些信息应该是通过AJAX异步加载方式获取到的。接下来我们就查看“XHR”标签内的网络请求。

当前这一网页中XHR标签内的网络请求并不多，最简单的方法就是每一个网络请求都查看一番。但是我们可以发现，这里的每个网络请求看起来都有一定的命名规则，像info/nav/review/recommend这些，似乎都很容易理解。我们发现其中有一