最新Python爬虫+数据分析+数据可视化（分析《雪中悍刀行》弹幕

try:

url = f’https://mfm.video.qq.com/danmu?otype=json&target_id=7626435152%26vid%3Dp0041oidttf&session_key=0%2C174%2C1642248894&timestamp={page}’

1. 发送网络请求

response = requests.get(url=url, headers=headers)

2. 获取数据 弹幕内容 <Response [200]>: 告诉我们响应成功

json_data = response.json()

print(json_data)

3. 解析数据(筛选数据) 提取想要的一些内容 不想要的忽略掉

comments = json_data[‘comments’]

for comment in comments:

data_dict = {}

data_dict[‘commentid’] = comment[‘commentid’]

data_dict[‘content’] = comment[‘content’]

data_dict[‘opername’] = comment[‘opername’]

print(data_dict)

data_list.append(data_dict)

except:

pass

4. 保存数据 wps 默认以gbk的方式打开的

df = pd.DataFrame(data_list)

乱码, 指定编码 为 utf-8 或者是 gbk 或者 utf-8-sig

df.to_csv(‘data.csv’, encoding=‘utf-8-sig’, index=False)

效果展示

数据可视化

=====================================================================

数据到手了，咱们就开始制作词云图分析了。

这两个模块需要安装一下

jieba

pyecharts

代码展示

import jieba

from pyecharts.charts import WordCloud

import pandas as pd

from pyecharts import options as opts

wordlist = []

data = pd.read_csv(‘data.csv’)[‘content’]

data

data_list = data.values.tolist()

data_str = ’ '.join(data_list)

words = jieba.lcut(data_str)

for word in words:

if len(word) > 1:

wordlist.append({‘word’:word, ‘count’:1})

df = pd.DataFrame(wordlist)

dfword = df.groupby(‘word’)[‘count’].sum()

dfword2 = dfword.sort_values(ascending=False)

dfword = df.groupby(‘word’)[‘count’].sum()

dfword2 = dfword.sort_values(ascending=False)

dfword3[‘word’] = dfword3.index

dfword3

word = dfword3[‘word’].tolist()

count = dfword3[‘count’].tolist()

a = [list(z) for z in zip(word, count)]

c = (

WordCloud()

.add(‘’, a, word_size_range=[10, 50], shape=‘circle’)

.set_global_opts(title_opts=opts.TitleOpts(title=“词云图”))

)

c.render_notebook()

效果展示

词云图效果

可以看到，这条、暴富和最后三个评论数据最多，咱们看看统计数据。

视频讲解

====================================================================

所有步骤都在视频有详细讲解

Python爬虫+数据分析+数据可视化（分析《雪中悍刀行》弹幕）

福利环节

====================================================================

弹幕和词云图都有了，没有视频就说不过去，代码我整出来了，大家可以自己去试试，我就不展示了，展示了你们就看不到了。

import requests

import re

from tqdm import tqdm

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！