python爬取腾讯视频弹幕_网络爬虫实战（四）：爬取腾讯视频电视剧弹幕-Go语言中文社区...

文章目录

实战背景

说到被翻拍最多的大概就是金庸先生的剧了，有华人的地方就会有金庸剧。而在他的多部小说中，翻拍次数最多的无疑就是《倚天屠龙记》了，而且次数已经高达十四次。最早的是1963香港导演将这个小说以电影形式拍成了上下两集。虽然是第一次，但不得不说导演也是非常的有新意，和金庸多次沟通后，也是将很多情节做了一些改变，比如将武当七侠排行最小的改成了师妹，而金毛谢逊也只是瞎一只眼等等。

随后更是很多导演对这部小说进去了翻拍，除了翻拍成几部电影，同样的也进行了电视剧形式的翻拍。香港，内地也多次反拍，而说到内地大家最熟悉的莫过于苏有朋这版了，贾静雯版的赵敏令我印象深刻。新版《倚天屠龙记》最近热播中，老版的老版的周芷若扮演者周海媚这回升级成灭绝师太，新版的周芷若扮演者祝绪丹美艳银屏，对于新版本观众老爷们到底有什么想说的呢？随即想到可以再视频中将弹幕爬取，以便于进行后续的分析。

网站分析

打开腾讯视频的网页，点开新版倚天屠龙记，播放视频，弹幕随之出现再屏幕之上。

首先我们需要找到相应的弹幕出自于哪里，打开网页开发者工具，Ctrl+F输入：等了好久，找到弹幕所在的页面

观察发现这是一个json，其弹幕内容包含在该json中的comments之中

找到页面之后观察该页面的请求头，请求方式为get,target_id为该电视剧的网页ID，得到该电视剧的链接地址主要由target_id和timestamp时间戳构成，形如 http://mfm.video.qq.com/danmu?timestamp=0&target_id=xxxxx

且该json表明时间戳每30会更新一次弹幕信息，单位为秒，对网站进行分析之后我们便来动手编写代码吧！

编写代码

timestamp每增加30就会更改整个弹幕页面，利用format对链接进行改写，在循环中每次增加30，并更改target_id即电视剧的每一集来获取每一集的弹幕信息,下面便是编写的获取弹幕的函数。这里一共取了前五集进行爬取。

def get_danmu(self):

"""

爬取一集新版倚天屠龙记电视剧的弹幕

"""

count=0

target_list=[str(3748894695),str(3748894707),str(3748894703),str(3748894705),str(3748894704)]

for target in target_list:

url='http://mfm.video.qq.com/danmu?timestamp={}&target_id='+target

page=1

for i in range(100):

req_url=url.format(30*page)

r=requests.get(req_url, headers=self.headers)

for danmu in r.json(strict=False)['comments']:

self.parse_comment(danmu=danmu)

page+=1

count+=1

print("已将第{}集弹幕信息存入数据库".format(count))

获取的json构造成字典，主要包括弹幕内容，发弹幕用户的昵称，点赞数等等，然后逐条插入MongoDB数据库

def parse_comment(self, danmu):

"""

解析函数，用来解析爬回来的json评论数据，并把数据保存进mongodb数据库

"""

dmdic = {'content': danmu['content'], 'id': danmu['commentid'],

'upcount': danmu['upcount'],'timepoint': danmu['timepoint'],

'username': danmu['opername']

} # 构造弹幕字典

self.db['TecentVedioDanmu'].insert_one(dmdic)

爬取结果

查看已存入数据库的数据信息

将数据库信息读取，发现共计54301条数据

RangeIndex: 54301 entries, 0 to 54300

Data columns (total 5 columns):

content 54301 non-null object

id 54301 non-null object

timepoint 54301 non-null int64

upcount 54301 non-null int64

username 54301 non-null object

dtypes: int64(2), object(3)

memory usage: 2.1+ MB

content id timepoint upcount username

0 曾舜晞你的小可爱突然出现 6506515190020290832 30 183 Leyla

1 竟然还是这个 主题曲 太好听 6506499481202570807 31 348 慢慢

2 哇塞终于出来了等了好久了 6506515196232055107 31 168 Leyla

3 还没到点呢，怎么回事 6506520554738563861 31 135 李逍遥

4 有周海媚？我好像看到了 6506499433775511859 32 182 莫非