python 爬取周董新歌《Mojito》MV弹幕，看看粉丝们都说了些啥

这里还有最后一点需要提醒大家的。观察目录页的那个接口(网址如下)，里面有一串字符串BV1PK4y1b7dt，我们先不管这个参数是什么，我们只关心这个字符串从哪里来的呢？

https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp

最后我们观察这首MV的原始网址(网址如下)，原来这个字符串就在这首MV的原始网址中。好了，说到这里，我就将B站弹幕数据爬取的一些参数的来龙去脉，给大家讲清楚了，下面我们开始代码部分吧。

https://www.bilibili.com/video/BV1PK4y1b7dt?t=1

代码如下：

---

import requests

import json

import chardet

import re

from pprint import pprint

1.根据bvid请求得到cid

def get_cid():

url = ‘https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp’

res = requests.get(url).text

json_dict = json.loads(res)

#pprint(json_dict)

return json_dict[“data”][0][“cid”]

2.根据cid请求弹幕，解析弹幕得到最终的数据

“”"

注意：哔哩哔哩的网页现在已经换了，那个list.so接口已经找不到，但是我们现在记住这个接口就行了。

“”"

def get_data(cid):

final_url = “https://api.bilibili.com/x/v1/dm/list.so?oid=” + str(cid)

final_res = requests.get(final_url)

final_res.encoding = chardet.detect(final_res.content)[‘encoding’]

final_res = final_res.text

pattern = re.compile(‘<d.?>(.?)’)

data = pattern.findall(final_res)

#pprint(final_res)

return data

3.保存弹幕列表

def save_to_file(data):

with open(“dan_mu.txt”, mode=“w”, encoding=“utf-8”) as f:

for i in data:

f.write(i)

f.write(“\n”)

cid = get_cid()

data = get_data(cid)

save_to_file(data)

结果如下：

词云图的制作

---

生成词云的几种方式对比

代码如下：

1 导入相关库

import pandas as pd

import jieba

from wordcloud import WordCloud

import matplotlib.pyplot as plt

from imageio import imread

import warnings

warnings.filterwarnings(“ignore”)

2 读取文本文件，并使用lcut()方法进行分词

with open(“dan_mu.txt”,encoding=“utf-8”) as f:

txt = f.read()

txt = txt.split()

data_cut = [jieba.lcut(x) for x in txt]

data_cut

3 读取停用词

with open(r"G:\6Tipdm\wordcloud\data\stoplist.txt",encoding=“utf-8”) as f:

stop = f.read()

stop = stop.split()

stop = [" ",“道”,“说道”,“说”] + stop

4 去掉停用词之后的最终词

s_data_cut = pd.Series(data_cut)

all_words_after = s_data_cut.apply(lambda x:[i for i in x if i not in stop])

5 词频统计

all_words = []

for i in all_words_after:

all_words.extend(i)

word_count = pd.Series(all_words).value_counts()

6 词云图的绘制

1）读取背景图片

back_picture = imread(r"G:\6Tipdm\wordcloud\jay1.jpg")

2）设置词云参数

wc = WordCloud(font_path=“G:\6Tipdm\wordcloud\simhei.ttf”,

background_color=“white”,

max_words=2000,

mask=back_picture,

max_font_size=200,

random_state=42

)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）