前言
前几天有个学生娃子找我帮忙做点可视化的作业,作业内容包括采集网易云音乐热评评论内容,数据量1W作业足够,然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫,有数据分析和数据处理,还有可视化,算是一个大实验了,还需要上交实验报告。这里拿出来部分知识点,给大家分享。学生娃的作业,参考了这个文章: 网易云音乐评论爬取 。
数据来源
首先是数据来源,来自网易云音乐热评,代码这里就不放出来了,调用了API获取的,抓取难度就少了许多,这里不在赘述了。
分析过程
时间处理
下面的代码主要是评论时间分布,主要是针对时间列做了数据处理,常规操作,你也对照的去以日期和月份去挖掘下有意思的事情。
import pandas as pd from pyecharts import Line # 读取数据 df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig') # 根据评论ID去重 df = df.drop_duplicates('commentid') df = df.dropna() # 获取时间 df['time'] = [int(i.split(' ')[1].split(':')[0]) for i in df['date']] # 分组汇总 date_message = df.groupby(['time']) date_com = date_message['time'].agg(['count']) date_com.reset_index(inplace=True) # 绘制走势图 attr = date_com['time'] v1 = date_com['count'] line = Line("歌曲被爆抄袭后-评论的时间分布", title_pos='center', title_top='18', width&#