requests # 发送网络请求
pandas as pd # 保存数据
不会安装模块移步主页看我置顶文章,有专门详细讲解安装模块问题。
代码部分
import requests # 发送网络请求
import pandas as pd # 保存数据
headers = {
‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36’
}
构建一个列表储存数据
data_list = []
for page in range(15, 1500, 30):
try:
url = f’https://mfm.video.qq.com/danmu?otype=json&target_id=7626435152%26vid%3Dp0041oidttf&session_key=0%2C174%2C1642248894×tamp={page}’
1. 发送网络请求
response = requests.get(url=url, headers=headers)
2. 获取数据 弹幕内容 <Response [200]>: 告诉我们响应成功
json_data = response.json()
print(json_data)
3. 解析数据(筛选数据) 提取想要的一些内容 不想要的忽略掉
comments = json_data[‘comments’]
for comment in comments:
data_dict = {}
data_dict[‘commentid’] = comment[‘commentid’]
data_dict[‘content’] = comment[‘content’]
data_dict[‘opername’] = comment[‘opername’]
print(data_dict)
data_list.append(data_dict)
except:
pass
4. 保存数据 wps 默认以gbk的方式打开的
df = pd.DataFrame(data_list)
乱码, 指定编码 为 utf-8 或者是 gbk 或者 utf-8-sig
df.to_csv(‘data.csv’, encoding=‘utf-8-sig’, index=False)
效果展示
=====================================================================
数据到手了,咱们就开始制作词云图分析了。
这两个模块需要安装一下
jieba
pyecharts
代码展示
import jieba
from pyecharts.charts import WordCloud
import pandas as pd
from pyecharts import options as opts
wordlist = []
data = pd.read_csv(‘data.csv’)[‘content’]
data
data_list = data.values.tolist()
data_str = ’ '.join(data_list)
words = jieba.lcut(data_str)
for word in words:
if len(word) > 1:
wordlist.append({‘word’:word, ‘count’:1})
df = pd.DataFrame(wordlist)
dfword = df.groupby(‘word’)[‘count’].sum()
dfword2 = dfword.sort_values(ascending=False)
dfword = df.groupby(‘word’)[‘count’].sum()
dfword2 = dfword.sort_values(ascending=False)
dfword3[‘word’] = dfword3.index
dfword3
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉 四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传
一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!
AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算
dn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)
AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算