Python爬取《明日之子》（腾讯视频）评论和弹幕，看看大家都在吐槽什么

微信公众号原文链接

今年夏天各电视和视频平台同步播出了许多音乐综艺节目，包括热度较高的《乐队的夏天》、《明日之子》、《声入人心》、《我是唱作人》、《中国新说唱》、《中国好声音》等。

以下是这几档节目来自豆瓣的评分，乐队的夏天以唯一8分以上的高分位居第一，我是唱作人 7.6，明日之子6.5，声入人心6.1，中国好声音5.3，中国新说唱5.2分。

小笨聪偶然听到几个女孩在谈论《明日之子》这档节目，比较好奇，就想着爬取一下《明日之子》的评论和弹幕，看看大家都在说什么东东。

 

一.评论及弹幕数据获取

腾讯视频为《明日之子》的播放平台，我们知道爬取视频类评论及弹幕数据一般有固定的格式，最重要的是获取视频 videoID 以及存放评论或弹幕的文档，以便找到它们对应的编号。

在谷歌浏览器下打开视频播放地址，向下滑动几页加载评论，使用开发者工具（F12）在源代码中即可看到 commentid，这里需要使用抓包工具。原理为找到并复制 url 地址，并一直循环到下一个存放评论的 id，这样就可以获取评论。

Headers 是查看自己浏览器中的 cookies，弹幕在腾讯视频中存放在多个叫 danmu 的 js 中，还需要使用到时间间隔，大概同上评论获取的方法。

1  # -*- coding: utf-8 -*-
2  import urllib.request
3  import re
4  import urllib.error
5  import sys
6  non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)
7  headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36     
         (KHTML, like