微信公众号原文链接
今年夏天各电视和视频平台同步播出了许多音乐综艺节目,包括热度较高的《乐队的夏天》、《明日之子》、《声入人心》、《我是唱作人》、《中国新说唱》、《中国好声音》等。
以下是这几档节目来自豆瓣的评分,乐队的夏天以唯一8分以上的高分位居第一,我是唱作人 7.6,明日之子6.5,声入人心6.1,中国好声音5.3,中国新说唱5.2分。
小笨聪偶然听到几个女孩在谈论《明日之子》这档节目,比较好奇,就想着爬取一下《明日之子》的评论和弹幕,看看大家都在说什么东东。
一.评论及弹幕数据获取
腾讯视频为《明日之子》的播放平台,我们知道爬取视频类评论及弹幕数据一般有固定的格式,最重要的是获取视频 videoID 以及存放评论或弹幕的文档,以便找到它们对应的编号。
在谷歌浏览器下打开视频播放地址,向下滑动几页加载评论,使用开发者工具(F12)在源代码中即可看到 commentid,这里需要使用抓包工具。原理为找到并复制 url 地址,并一直循环到下一个存放评论的 id,这样就可以获取评论。
Headers 是查看自己浏览器中的 cookies,弹幕在腾讯视频中存放在多个叫 danmu 的 js 中,还需要使用到时间间隔,大概同上评论获取的方法。
1 # -*- coding: utf-8 -*-
2 import urllib.request
3 import re
4 import urllib.error
5 import sys
6 non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)
7 headers=("User-Agent","Mozilla/5.0 (Windows NT 10