1. 项目简介
随着移动互联网和5G的快速发展,视频直播行业呈现出丰富多元的内容形态,覆盖更多的场景和受众,视频成为了当前主流的信息传递媒介。本项目利用 python
网络爬虫抓取从某直播平台的直播数据,对不同直播频道数据进行统计分析,同时解析弹幕数据,通过文本清洗、关键词抽取,实现评论词云可视化,并基于
tfidf+情感词典算法实现评论的情感分析。
2. 功能组成
基于Python的直播平台数据分析可视化系统的功能主要包括:
3. 基于Python的直播平台数据分析可视化系统
3.1 系统注册登录
3.2 直播数据爬虫
利用 python 网络爬虫爬取某直播平台不同直播频道的直播数据(注:考虑版权问题,具体直播网站地址已脱敏),获取直播平台的所有直播频道:
# 首次爬取不存在类别列表文件,爬取
url = ‘https://www.xxxx.com/directory/all’
headers = {
‘user-agent’: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 Edg/79.0.309.56”
}
response = requests.get(url, headers=headers)
# 处理不同页面的编码问题
encode = chardet.detect(response.content)
if encode[‘encoding’] == ‘GB2312’:
response.encoding = ‘gbk’
else:
respo