前几天有个学生娃子找我帮忙做点可视化的作业,作业内容包括采集网易云音乐热评评论内容,数据量1W作业足够,然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫,有数据分析和数据处理,还有可视化,算是一个大实验了,还需要上交实验报告。这里拿出来部分知识点,给大家分享。
首先是数据来源,来自网易云音乐热评,代码这里就不放出来了,调用了API获取的,抓取难度就少了许多,这里不在赘述了。
下面的代码主要是评论时间分布,主要是针对时间列做了数据处理,常规操作,你也对照的去以日期和月份去挖掘下有意思的事情。
import pandas as pdfrom pyecharts import Line# 读取数据df = pd.read_csv('music_comments.csv', header=None, names=['name', 'userid', 'age', 'gender', 'city', 'text', 'comment', 'commentid', 'praise', 'date'], encoding='utf-8-sig')# 根据评论ID去重df = df.drop_duplicates('commentid')df = df.dropna# 获取时间df['time'] = [int(i.split(' ')[1].split(':')[0]) for i in df['date']]# 分组汇总date_message = df.groupby(['time'])date_com = date_message['time'].agg(['count'])date_com.reset_index(inplace=True)# 绘制走势图attr = date_com['time']v1 = date_com['count']line = Line("歌曲被爆抄袭后-评论的时间分布", title_pos='center', title_top='18', width=800, height=400)line.add("", attr, v1, is_smooth=True, is_fill=True, area_color="#000", is_xaxislabel_align=True, xaxis_min="dataMin", area_opacity=0.3, mark_point=["max"], mark_point_symbol="pin", mark_point_symbolsize=55)line.render("歌曲被爆抄袭后-评论的时间分布.html")
运行之后,得到的效果图如下所示:
可以看到评论的小伙伴喜欢在下午临近下班和晚上的时候进行评论。
代码