Python 爬取 201865 条《隐秘的角落》弹幕，发现看剧不如爬山？

---

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：朱小五

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

---

最近又火了一部国产剧：《隐秘的角落》。

如果你没看过，那可能会对朋友圈里大家说的“一起去爬山”、“小白船”、“还有机会吗”感到莫名其妙。

小五在这个端午假期也赶紧刷完了本剧，必须要写篇文章了。

由于《隐秘的角落》是在爱奇艺独播，所以数据从爱奇艺下手最直接。

如果没爬过爱奇艺，可以考虑使用豆瓣、微博、知乎（电视剧数据分析 · 万能三件套）的数据。

爬虫

---

剧很精彩，但追剧界有句俗话说得好：“弹幕往往比剧更精彩”，为了让精彩延续下去，我终究没能忍住对弹幕下手。

爱奇艺的弹幕数据是以 .z 形式的压缩文件存在的，先获取 tvid 列表，再根据 tvid 获取弹幕的压缩文件，最后对其进行解压及存储，大概就是这样一个过程。

这里参考了数据兔小白的代码，我又修改后实现分集爬取所有弹幕。

def get_data(tv_name,tv_id):

url = ‘https://cmts.iqiyi.com/bullet/{}/{}/{}300{}.z’

datas = pd.DataFrame(columns=[‘uid’,‘contentsId’,‘contents’,‘likeCount’])

for i in range(1,20):

myUrl = url.format(tv_id[-4:-2],tv_id[-2:],tv_id,i)

print(myUrl)

res = requests.get(myUrl)

if res.status_code == 200:

btArr = bytearray(res.content)

xml=zlib.decompress(btArr).decode(‘utf-8’)

bs = BeautifulSoup(xml,“xml”)

data = pd.DataFrame(columns=[‘uid’,‘contentsId’,‘contents’,‘likeCount’])

data[‘uid’] = [i.text for i in bs.findAll(‘uid’)]

data[‘contentsId’] = [i.text for i in bs.findAll(‘contentId’)]

data[‘contents’] = [i.text for i in bs.findAll(‘content’)]

data[‘likeCount’] = [i.text for i in bs.findAll(‘likeCount’)]

else:

break

datas = pd.concat([datas,data],ignore_index = True)

datas[‘tv_name’]= str(tv_name)

return datas

注：避免引起不必要的麻烦，本爬虫仅指出关键步骤，不再公开提供。

共爬取得到201865 条《隐秘的角落》弹幕数据。

弹幕发射器

---

按照用户id分组并对弹幕id计数，可以得到每位用户的累计发送弹幕数。

#累计发送弹幕数的用户

danmu_counts = df.groupby(‘uid’)[‘contentsId’].count().sort_values(ascending = False).reset_index()

danmu_counts.columns = [‘用户id’,‘累计发送弹幕数’]

danmu_counts.head()

第一名竟然发送了2561条弹幕，这只是一部12集的网剧啊。

难道他/她是水军？每条都发的差不多？

df_top1 = df[df[‘uid’] == 1810351987].sort_values(by=“likeCount”,ascending = False).reset_index()

df_top1.head(10)

然而并不是，每一条弹幕都是这位观众的有感而发，可能他/她只是在发弹幕的同时顺便看看剧吧。

这位“弹幕发射器”朋友，在每一集的弹幕量又是如何呢？

是不是通过上图可以侧面说明个别剧集的戏剧冲突更大，更能引发观众吐槽呢？

“弹幕发射器”同志，11、12集请加大输出！

这些弹幕大家都认同

---

抛开“弹幕发射器”同志，我们继续探究一下分集的弹幕。

看看每一集当中，哪些弹幕大家都很认同（赞）？

df_like = df[df.groupby([‘tv_name’])[‘likeCount’].rank(method=“first”, ascending=False)==1].reset_index()[[‘tv_name’,‘contents’,‘likeCount’]]

df_like.columns = [‘剧集’,‘弹幕’,‘赞’]

df_like

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）

nvert/9f49b566129f47b8a67243c1008edf79.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）