B站视频之CC字幕抓取

出于某些不可告人的特殊原因,我需要得到某个B站视频的 「 字幕 」,自己手动记录字幕实在过于繁琐,每几秒都会有字幕不断地更新,一个1小时的视频字幕的收集便是一个浩大的工程~

因此我再次召唤我的好帮手 网络爬虫 ,来帮我采集字幕并且以 srt 文件的格式保存。这个 srt 的全称是SubRip Text,这是一种非常流行的文本字幕,包含一行时间,一行字幕,制作规范非常简单。

file

如上图所示,这个字幕是CC字幕,CC是Closed Caption的简称,所谓CC字幕,就是隐藏式字幕。

CC 是把文字加入NTSC电视信号的一种标准化编码方法。

电视机的内置解码器或独立解码器能显示文字。

Caption 和我们常见的一般字幕(subtitle)的用法是有区别的,它是在无音状态下通过进行一些解释性的语言来描述当前画面中所发生的事情的字幕,例如画面中出现了背景的声音的时候,Caption都会通过字幕进行提示。

这个CC字幕我们可以再视频中拖放至任意位置,十分便捷,经过观察发现,该字幕显式地放在一个json之中,而这个json又可以通过Network找到。

file

上图中的 subtitle_url 便给出了字幕json的链接,而访问该链接可以得到该视频的所有字幕信息。其中对我生成srt文件最为重要的数据便是 from、to以及content,这些单词对应的数据分别代表某一条字幕的出现时间,消失时间以及字幕的内容。

file

由此我们找到了所需的详细字幕信息所在的位置,思路也非常清晰,先模拟访问该视频页面获取字幕的json链接,再将json链接中包含的信息按照srt文件的格式下载到本地。

    def get_subtitles(self):
        """
        根据字幕的json 获取CC字幕

        """        
        json_url=self.get_json_url()
        if len(json_url)>0:
            with open('{}.srt'.format(self.title),'w',encoding='utf-8') as f:
                r=requests.get(json_url)
                info=json.loads(r.text)['body']
                for i in range(len(info)):
                    subtitle_from=info[i]['from']
                    subtitle_to=info[i]['to']
                    content=info[i]['content']
                    data=self.format_subtitle(subtitle_from,subtitle_to,content,i)
                    f.write(data)

上面的函数是获取CC字幕的主要代码,下面这段代码主要是将CC字幕格式化输出,以标准的srt文件的形式输出。

    def format_subtitle(self,subtitle_from,subtitle_to,content,i):        
        """
        格式化成srt文件,形如:

        1
        00:00:01,035 --> 00:00:04,525
        远离了平行线 看吧天气预报也不怎么准

        """
        subtitle_from=round(subtitle_from,3)                                              #四舍五入为三位小数
        subtitle_to=round(subtitle_to,3)
        begin=time.strftime("%H:%M:%S",time.gmtime(subtitle_from)) ',' self.rectify(subtitle_from)        
        end=time.strftime("%H:%M:%S",time.gmtime(subtitle_to)) ',' self.rectify(subtitle_to)
        data=str(i 1) '\n' begin ' --> ' end '\n' content '\n\n'                          #格式化成srt字幕
        return data

这样我们就可以得到某个视频的CC字幕,如果想要爬取的视频的字幕不是CC字幕的话,是无法通过上述代码爬取的。因为其 list 列表为空,即不存在相关的json。

  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,很高兴回答您的问题! 首先,我们需要安装一些必要的库,如requests、BeautifulSoup、jieba、wordcloud等。你可以使用以下命令进行安装: ``` pip install requests pip install BeautifulSoup4 pip install jieba pip install wordcloud ``` 接下来,我们需要先获取视频的av号(或者BV号),然后通过B站的API接口来获取评论数据。代码如下: ```python import requests import json # 获取B站视频评论 def get_bilibili_comment(aid): url = "https://api.bilibili.com/x/v2/reply?pn={}&type=1&oid={}&sort=2" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} comments = [] for i in range(1, 6): # 抓取前5页评论 response = requests.get(url.format(i, aid), headers=headers) data = json.loads(response.text) for comment in data["data"]["replies"]: comments.append(comment["content"]["message"]) return comments # 获取B站视频的av号 def get_bilibili_av(bv): url = "https://api.bilibili.com/x/web-interface/view?bvid={}" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} response = requests.get(url.format(bv), headers=headers) data = json.loads(response.text) return data["data"]["aid"] ``` 接着,我们需要使用jieba库对评论内容进行分词,并将分词结果存储到一个列表中。代码如下: ```python import jieba # 分词 def cut_words(comments): words = [] for comment in comments: words += jieba.lcut(comment) return words ``` 最后,我们可以使用wordcloud库来制作词云图。代码如下: ```python import matplotlib.pyplot as plt from wordcloud import WordCloud # 制作词云图 def make_wordcloud(words): text = " ".join(words) wc = WordCloud(background_color="white", max_words=200, font_path="msyh.ttc") wc.generate(text) plt.imshow(wc) plt.axis("off") plt.show() ``` 完整代码如下: ```python import requests import json import jieba import matplotlib.pyplot as plt from wordcloud import WordCloud # 获取B站视频评论 def get_bilibili_comment(aid): url = "https://api.bilibili.com/x/v2/reply?pn={}&type=1&oid={}&sort=2" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} comments = [] for i in range(1, 6): # 抓取前5页评论 response = requests.get(url.format(i, aid), headers=headers) data = json.loads(response.text) for comment in data["data"]["replies"]: comments.append(comment["content"]["message"]) return comments # 获取B站视频的av号 def get_bilibili_av(bv): url = "https://api.bilibili.com/x/web-interface/view?bvid={}" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} response = requests.get(url.format(bv), headers=headers) data = json.loads(response.text) return data["data"]["aid"] # 分词 def cut_words(comments): words = [] for comment in comments: words += jieba.lcut(comment) return words # 制作词云图 def make_wordcloud(words): text = " ".join(words) wc = WordCloud(background_color="white", max_words=200, font_path="msyh.ttc") wc.generate(text) plt.imshow(wc) plt.axis("off") plt.show() if __name__ == "__main__": bv = input("请输入B站视频的BV号:") aid = get_bilibili_av(bv) comments = get_bilibili_comment(aid) words = cut_words(comments) make_wordcloud(words) ``` 这样,我们就可以使用Python抓取B站视频评论,并制作词云图了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值