Python 爬取 394452 条《都挺好》弹幕数据,发现弹幕比剧还精彩?

640?wx_fmt=gif

狂野男孩大强下线的第三天,想他,想他,想他……

640?wx_fmt=jpeg

图源《都挺好》官微

 

作者 | 周志鹏

责编 | 仲培艺

最近《都挺好》真的挺火。

火到什么程度?微博热搜霸榜,办公室评弹声四起,大强轻松攻占表情包,甚至连 N 年不追剧的“瘦宅”们也开始沉迷其中,大呼真香。

640?wx_fmt=jpeg

图源微博画手@马里奥小黄

剧很精彩,但追剧界有句俗话说得好:“弹幕往往比剧更精彩”,为了让精彩延续下去,我终究没能忍住对(腾讯视频)弹幕下手。

经过一番折腾,发现弹幕是 JSON 格式动态加载的,而且加载得非常有规律,30 秒一发(80-100 条),多出的会隐藏。共计爬取了 394452 条弹幕(雨露均沾,每集平均 8575 条,每 30s 的间隔爬取),来挖一挖弹幕这个宝藏。

 

640?wx_fmt=png

弹幕基本盘概览

 

爬到的源数据是酱紫的:

640?wx_fmt=png

640?wx_fmt=png

发现有部分用户名是缺失的,由于这部分用户占比很小(仅 0.61%),所以我们直接暴力除去这部分噪声。

640?wx_fmt=png

清洗之后,还剩下 117484 个用户发送的 392051 条弹幕,人均发送弹幕量 3.34 条。

再看看每个人发送弹幕数是怎么样分布的:

640?wx_fmt=png

显而易见,大部分用户还是比较佛系的,71607 位用户(占比 60.95%)在 46 集中只发送过 1 条弹幕,他们内心严格遵循“爱就一个字,我只发一次”的弹幕发送准则。

发送条数在 3 条及以内的用户数占比达到了 83.73%,他们累计贡献了 133331 条弹幕,占到弹幕总数的 34.01%,反过来看,剩下 16.27% 的用户贡献了弹幕量的 65.99%。从这个角度来看,二八法则在这里更像是二七法则(20% 的用户贡献了 70% 的内容)。

 

640?wx_fmt=png

是谁在疯狂发射弹幕,而弹幕又爱上了谁

 

弹幕发送量 Top10 榜单

我们都知道明成是“行走的造粪机”,那么从弹幕的角度来看,谁是“行走的弹幕发射机”呢?

为此,我们筛选出累计发送弹幕 Top10 的用户:

微微一操作(爬取、清洗和分析都使用 Python)

 

  •  
  •  
  •  
danmu_counts = df.groupby('用户名')['评论id'].count().sort_values(ascending= False).reset_index()danmu_counts.columns = ['用户名','累计发送弹幕数']danmu_counts.head(10)

640?wx_fmt=png

上一步我们知道平均每个人在整部剧会发送 3.34 条弹幕,而弹幕发送排行榜前十的旁友们发送量都是过千级别的,我们再加上这个用户弹幕发送涉及到的集数,进一步看看平均每集发送弹幕数。为了更直观一些,可视化之:

640?wx_fmt=png

一位名叫“@L”的用户独占鳌头,是毋庸置疑的 C 位输出。在 46 集的电视剧中,他的弹幕血洗了 32 集,累计发射 2773 条弹幕,平均每集发送 86.66 条。

什么概念呢?

一集电视剧时长约 42 分钟,也就是说,这位大佬在看剧的同时,仍能保持每分钟 2.06 条的发送频次,还坚持了 32 集。

到这里大家一定会有质疑,觉得他肯定是刷了大量的“666”、“来了”之类毫无意义的内容来霸榜,所以我把他的输出内容筛了出来并做成词云图:

640?wx_fmt=png

这……这位大佬输出的内容,不仅紧贴剧情,更是文风多变,时而总结内容,时而嬉笑怒骂,时而感慨人生,时而出口成诗,毫不夸张的说比一般弹幕都要有内涵。

我的膝盖,开始不听使唤了......

唯有疾呼“高山(频)仰止,景行行止”。

谁的弹幕最受青睐(点赞数最多)

根据每个用户累计点赞量排序,Get 到弹幕点赞 TOP10 排行榜:

640?wx_fmt=png

第一名“追剧小奶鹅”平均每集发 6 条弹幕,每条弹幕竟然能够得到 4585 个赞!难道这就是传说中的精神领袖吗?难道大佬之外还有大佬吗?

在看剧的时候经常能够被他的弹幕刷屏,而且他的弹幕比其他人停留时间更长,颜色更艳丽。经核实,发现第一名,原来是“嫡系”:

腾讯视频电视剧弹幕专业陪聊,怪不得这么高的赞。

而第二名,又是我们的大佬“@L”,他凭借高频、稳定、持续输出累计获得 21.69 万赞,平均每条弹幕获赞 78.22 个。

大佬,请收下我的膝盖!

高赞弹幕有何套路

A)嫡系部队:

我们单独把腾讯的嫡系部队“追剧小奶鹅”拎出来,是因为他几乎垄断了高赞弹幕 Top300,嫡系光环加持,赞或许有虚高的嫌疑,但不妨碍我们单独分析他内容的套路(其实不少小奶鹅的弹幕并没有其他的精彩,但毕竟是亲儿子):

640?wx_fmt=png

暴力总结起来就一句话:对仗工整提大强,感天动地夸明玉。

B)非嫡系部队:

640?wx_fmt=png

高赞的(非嫡系)朋友们深得演唱会那句带节奏名言“现场的朋友们,举起你们的双手,让我看到你们的热情”的真传。

“觉得 XX 说得对点下谢谢”、“给 XX 点赞!”套路是获赞的一大法宝,另一法宝就是推动剧情的内容总结了。

 

640?wx_fmt=png

弹幕视角主人公情感分析

 

谁是苏家最受弹幕关注的人儿

要分析谁是苏家最受弹幕关注的人,必须先根据关键词去甄别和定位到剧中角色。

640?wx_fmt=png

这里列出了关于苏家人的简单词库,用来识别弹幕在议论谁。

640?wx_fmt=png

54.31% 的弹幕没有主观倾向性,没有提及具体的苏家人(可能提及了剧中其他人,这里暂不考虑)。

明玉竟然抢过了大强的宝座,以 19.91% 的弹幕提及率拔得头筹,而大强则以 16.16% 的关注度紧随其后。

Emmm,无论是剧外热度还是追剧时弹幕槽点,我都觉得大强应该才是最受关注的啊!

作为一个严谨的追剧人,我开始排查弹幕,发现了很多戏精在发弹幕时都玩起了角色扮演,他们在发弹幕时,总是先在开头署名“苏明玉:” or 其他剧中角色,仿佛在代他们发声。

清洗完这部分调皮的用户之后,排名出现了新的变化:

640?wx_fmt=png

果然,其他除外,大强以 15.16% 的关注占比领先其他家人一个身位,明玉又把两个哥哥拉开了一个身位的距离,占比 8.82%,明成和明哲关注占比分别是 4.84% 和 4.28%。

P.S. 明成关注度之所以低,是因为很多弹幕骂人并不会指名道姓:),而明哲嘛,对这个排名表示很失望。

弹幕情感分析

看剧(弹幕)时能够明显感觉到观众对于明成的态度从最开始的“过街老鼠,人人喊打”到后来的“明成懂事了”。

从数据分析的角度讲,明成是否成功洗白?大强最后催泪演绎效果如何?

这里我们调用百度情感分析 API,对每一条评价的内容进行情感打分,用情感分值来验证上述问题(分值在 0-1 之间,越靠近 0 负面倾向越强,越接近 1 则情感越情面)。

调用方法很简单:

 

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
#先安装aip包from aip import AipNlp#到后台配置权限,获得相关ID和KEY,目前API是免费且不限量的app_id = '输入实际ID'api_key = '输入实际KEY'secret_key = '输入实际SECRET_KEY'client = AipNlp(app_id,api_key,secret_key) #定义函数,以便循环爬取def senti_analy(text):data = client.sentimentClassify(text)sentiment = data['items'][0]['positive_prob']return sentiment for text in df['内容']:try:sentiments.append(senti_analy(text))except:#print(text)sentiments.append('pass') df['情感分值'] = sentiments

打分筛选过后,我们统计出每一集苏家每个人的平均情感分值,并绘制出曲线图(4 个人导致折线图可读性较差,所以只有委屈大哥了):

640?wx_fmt=png

1. 大强开局不错,和明玉持平,但凭借倪老师“作死小能手”的实力诠释,让情感分值迅速走低,11 集的低点正式印证了大强的“癫疯之作”,之后分值在 0.38 左右徘徊。随着“蔡根花宝贝”梗的出现,“嘲讽”替代了指责,让分值略微上浮(情感打分对于高级黑式嘲讽难以准确判断)。最后老年痴呆发病后大强对明玉的爱让分值一举超过 0.5,达到历史峰值,成功上岸。

2. 明玉是原生家庭的受害者,也是一个靠自己成功的女强人,前期爱恨分明,情感分值一度飙到 0.59(超过其他所有角色),18 集开始的买房纷争,网友纷纷表示强烈同情(例:明玉不能像十年前一样别理他们吗?情感分值只有 0.041),这让明玉相关的情感分值严重走低,随后弹幕主旋律仍以叫好和同情为主。

3. 明成的情感分值走势更有意思,开局最低,靠欺负妹妹让分值迅速降低,可谓“人人喊打”,后面则分值飙升,一度追上明玉,主要是因为明成期望值已经极低,但是他宠老婆的行为得到观众认可。中期本色挨骂,降至低谷。27 集明成情感分值再次超过 0.5,竟然是因为明成想吓走大强进行的一系列骚操作(尤其是广场舞)。再后来就是明成幡然悔悟,走上正轨,分值在稳定在 0.45 左右,也算成功洗白。

看来,开局降期望,中期随便作,后期催泪逆风翻盘,终究还是会被观众接受。

作者:周志鹏,2年数据分析,深切感受到数据分析的有趣和学习过程中缺少案例的无奈,遂新开公众号「数据不吹牛」,定期更新数据分析相关技巧和有趣案例(含实战数据集),欢迎大家关注交流。

声明:本文经授权转载,如需转载请联系原作者。

 

程序员毕业起薪排名出炉,今年做好就业的程序员,居然都掌握了这个技能?

https://edu.csdn.net/topic/python115?utm_source=cxrs_bw

640?wx_fmt=png

640?wx_fmt=jpeg

640?wx_fmt=gif

 热 文 推 荐 

黑客少年手机编 10 万行代码,恶意篡改 App只为了 “炫技”?

 “要么增长要么死”,狼性文化正在毁掉什么?

漫画:我是程序员,总想打产品经理怎么办?

☞ 14 岁编程神童?假的!

让苹果“沦为配角”的华为都发布了什么?

☞ 中本聪的足球队,香吗?

☞ 腾云驾雾的计算,让你蒙圈了么?

☞ 清华、北大、浙大的计算机课程资源集都在这里了

☞ 现实!程序员只有跳槽才能涨薪吗?

 

System.out.println("点个在看吧!");
console.log("点个在看吧!");
print("点个在看吧!");
printf("点个在看吧!\n");
cout << "点个在看吧!" << endl;
Console.WriteLine("点个在看吧!");
Response.Write("点个在看吧!");
alert("点个在看吧!")
echo "点个在看吧!"

640?wx_fmt=png你点的每个“在看”,我都认真当成了喜欢

爬取B站弹幕数据,可以使用Python编程语言来实现。下面是一个示例代码,可以帮助你完成这个任务: ```python import requests from bs4 import BeautifulSoup import docx def main(): url = 'https://comment.bilibili.com/251139222.xml' savename = 'B站弹幕1.docx' title = '风犬少年的天空第二集' link = 'https://www.bilibili.com/bangumi/play/ep340251?from=search&seid=11822154625123447233' # 1.访问弹幕数据 html = accessbarrage(url) # 2.对弹幕数据进行解析 comments = analysibarrage(html) # 3.保存到doc文件 savebarrage(comments, title, link, savename) def accessbarrage(url): html = requests.get(url).content return html def analysibarrage(html): html_data = str(html, 'utf-8') bs4 = BeautifulSoup(html_data, 'lxml') results = bs4.find_all('d') comments = {comment.text for comment in results} comments = list(comments) comments = sorted(comments) return comments def savebarrage(comments, title, link, savename): doc = docx.Document() doc.add_heading(title, level=1) doc.add_paragraph('视频链接:' + link) doc.add_heading('弹幕内容:', level=2) for comment in comments: doc.add_paragraph(comment) doc.save(savename) main() ``` 这段代码首先定义了一个`main()`函数,作为程序的入口。在`main()`函数中,首先通过`accessbarrage()`函数访问弹幕数据,然后通过`analysibarrage()`函数对弹幕数据进行解析,最后通过`savebarrage()`函数将解析后的弹幕数据保存到doc文件中。 `accessbarrage()`函数使用`requests`库发送HTTP请求,获取弹幕数据的原始HTML内容。`analysibarrage()`函数使用`BeautifulSoup`库对HTML内容进行解析,提取出弹幕内容,并进行排序。`savebarrage()`函数使用`docx`库创建一个Word文档,并将弹幕内容添加到文档中。 你可以根据自己的需求修改代码中的URL、文件名等参数,以及对弹幕数据的处理方式。希望对你有帮助!\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [python爬虫实践-B站弹幕分析](https://blog.csdn.net/qq_45886782/article/details/120854725)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [python 爬取周董新歌《Mojito》MV弹幕,看看粉丝们都说了些啥](https://blog.csdn.net/fei347795790/article/details/106871478)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值