数据挖掘|商品评论关键词抽取、情感分析及情感可视化

1 任务定义

        给定商品评论数据集，对商品评论进行关键词抽取、情感分析，并对情感分值按月份聚类后用可视化图表呈现。本任务涉及的数据源为2020年美赛C题的三个tsv文件（csv文件以逗号分隔，而tsv文件以\t分隔，在利用pandas读取时需要增加sep参数，并设置为'\t'），本文主要使用该数据集中的最后两个字段：review_body和review_date。

import pandas as pd
hair_dryer=pd.read_csv("./Dataset/hair_dryer.tsv",sep='\t')
microwave=pd.read_csv("./Dataset/microwave.tsv",sep='\t')
pacifier=pd.read_csv("./Dataset/pacifier.tsv",sep='\t')
# 查看hair_dryer的数据
hair_dryer.head(10)

2 实现过程

from snownlp import SnowNLP
import time
import yake
import random
import pandas as pd

2.1 日期数据处理

        将字符形式的日期数据转为时间戳保存下来，有利于后续对时间的其它处理（自己的小习惯，当前的小任务用不上时间戳~）；将日期转换为年-月格式，有助于后续在可视化时减少横轴的数据项（如果以天为单位会太多啦）。

# 将日期转换为时间戳
def toTimeStamp(review_date):
    ## 数据中的日期格式为: %m/%d/%Y, 例如: 8/31/2015
    timeArray=time.strptime(review_date,'%m/%d/%Y')
    timeStamp=int(time.mktime(timeArray))
    return timeStamp

# 将日期转换为年-月形式
def year_month(review_date):
    month,day,year=review_date.split("/")
    ## 月份用2位数字表示, 不足两位用0填充
    return year+'-{:0>2}'.format(month)

2.2 关键词与情感

1. 计算情感得分：使用SnowNLP库的情感得分计算
2. 提取关键词：数据为英文文本，这里用yake库的KeywordExtractor对象进行提取
3. 保存中间数据：把三种商品的情感得分和关键词都存储到相应的csv文件中

# 三种类型的商品
names={'hair_dryer','microwave','pacifier'}

# 计算情感得分+抽取关键词
def sentiment_count_keyword(name):
    ## 读取特定商品对应的数据文件(该文件以\t隔开)
    df=pd.read_csv("./Dataset/{}.tsv".format(name),sep='\t')
    
    ## 将日期转换为时间戳和年-月形式
    df['review_stamp']=df['review_date'].apply(toTimeStamp)
    df['year_month']=df['review_date'].apply(year_month)
    
    ## 创建新DataFrame, 字段包括'review_date','review_body','review_stamp','year_month'
    date_comments = df[['review_date','review_body','review_stamp','year_month']]
    
    ## 使用SnowNLP计算情感得分
    sentiment_list = []
    for comment in date_comments['review_body']:
        try:
            sentiment_list.append(SnowNLP(comment).sentiments)
        except:
            sentiment_list.append(random.random())
    date_comments['sentiment']=sentiment_list
    
    ## 使用年-月聚类, 按月份计算情感平均值
    sort_comments=date_comments.groupby('year_month')['sentiment'].agg('mean').reset_index().sort_values(by='year_month')
    sort_comments['review_count']=date_comments.groupby('year_month')['review_body'].count().tolist()
    sort_comments.to_csv('./DataSet/[{}]sentiment_count.csv'.format(name),index=False)
    
    ## 使用yake进行关键词抽取
    language = "en"
    max_ngram_size = 2 #最大关键词语长度
    deduplication_threshold = 0.9 #设置在关键词中是否可以重复单词
    numOfKeywords = 20 
    custom_kw_extractor = yake.KeywordExtractor(lan=language, n=max_ngram_size, dedupLim=deduplication_threshold, top=numOfKeywords, features=None)
    keywords=[]
    for i in range(date_comments.shape[0]):
        keyword=custom_kw_extractor.extract_keywords(date_comments.loc[i,'review_body'])
        keywords.append([i[0] for i in keyword])
    date_comments['keywords']=keywords
    date_comments.to_csv("./DataSet/[{}]keywords.csv".format(name),index=False)

        查看情感和关键词结果，以microwave商品为例：

2.3 情感趋势可视化

        以microwave的情感得分为例，利用pyecharts绘制折线图如下。

from pyecharts.charts import Line
from pyecharts import options as opts

sort_comments=pd.read_csv("./Dataset/[microwave]sentiment_count.csv")

line = (
    Line()
    .add_xaxis(list(sort_comments['year_month'].unique()))
    .add_yaxis("情感", sort_comments['sentiment'].to_list(), is_smooth=True)
    .set_series_opts(
        areastyle_opts=opts.AreaStyleOpts(opacity=0.5),
        label_opts=opts.LabelOpts(is_show=False),
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(title="评论情感趋势"),
        datazoom_opts=opts.DataZoomOpts()
        # xaxis_opts=opts.AxisOpts(
        #     axistick_opts=opts.AxisTickOpts(is_align_with_label=True),
        #     is_scale=False,
        #     boundary_gap=False,
        # ),
    )
    .render("./Visual/评论情感趋势.html")
)