文本挖掘&情感分析

大众点评评价情感分析~

先上结果：

糖水店的评论文本	模型预测的情感评分
‘糖水味道不错，滑而不腻，赞一个，下次还会来’	0.91
‘味道一般，没啥特点’	0.52
‘排队老半天，环境很差，味道一般般’	0.05

模型的效果还可以的样子，yeah~接下来我们好好讲讲怎么做的哈，我们通过爬虫爬取了大众点评广州8家最热门糖水店的3W条评论信息以及评分作为训练数据，前面的分析我们得知样本很不均衡。接下来我们的整体思路就是：文本特征处理(分词、去停用词、TF-IDF)—机器学习建模—模型评价。

我们先不处理样本不均衡问题，直接建模后查看结果，接下来我们再按照两种方法处理样本不均衡，对比结果。

数据读入和探索

import pandas as pd
from matplotlib import pyplot as plt
import jieba
data = pd.read_csv('data.csv')
data.head()

	cus_id	comment_time	comment_star	cus_comment	kouwei	huanjing	fuwu	shopID	stars	year	month	weekday	hour	comment_len
0	迷糊泰迪	2018-09-20 06:48:00	sml-str40	南信 算是 广州 著名 甜品店 吧 好几个 时间段 路过 都 是 座无虚席 看着 餐单 上 ...	非常好	好	好	518986	4.0	2018	9	3	6	145.0
1	稱霸幼稚園	2018-09-22 21:49:00	sml-str40	中午 吃 完 了 所谓 的 早茶 回去 放下 行李 休息 了 会 就 来 吃 下午茶 了 服...	很好	很好	很好	518986	4.0	2018	9	5	21	255.0
2	爱吃的美美侠	2018-09-22 22:16:00	sml-str40	冲刺 王者 战队 吃遍 蓉城 战队 有 特权 五月份 和 好 朋友 毕业 旅行 来 了 广州...	很好	很好	很好	518986	4.0	2018	9	5	22	255.0
3	姜姜会吃胖	2018-09-19 06:36:00	sml-str40	都 说来 广州 吃 糖水 就要 来南信 招牌 姜撞奶 红豆 双皮奶 牛 三星 云吞面 一楼 ...	非常好	很好	很好	518986	4.0	2018	9	2	6	184.0
4	forevercage	2018-08-24 17:58:00	sml-str50	一直 很 期待 也 最 爱 吃 甜品 广州 的 甜品 很 丰富 很 多样 来 之前 就 一直...	非常好	很好	很好	518986	5.0	2018	8	4	17	255.0

构建标签值

大众点评的评分分为1-5分，1-2为差评，4-5为好评，3为中评，因此我们把1-2记为0,4-5记为1,3为中评，对我们的情感分析作用不大，丢弃掉这部分数据，但是可以作为训练语料模型的语料。我们的情感评分可以转化为标签值为1的概率值，这样我们就把情感分析问题转为文本分类问题了。

#构建label值
def zhuanhuan(score):
    if score > 3:
        return 1
    elif score < 3:
        return 0
    else:
        return None
    
#特征值转换
data['target'] = data['stars'].map(lambda x:zhuanhuan(x))
data_model = data.dropna()

data_model

	cus_id	comment_time	comment_star	cus_comment	kouwei	huanjing	fuwu	shopID	stars	year	month	weekday	hour	comment_len	target
0	迷糊泰迪	2018-09-20 06:48:00	sml-str40	南信 算是 广州 著名 甜品店 吧 好几个 时间段 路过 都 是 座无虚席 看着 餐单 上 ...	非常好	好	好	518986	4.0	2018	9	3	6	145.0	1.0
1	稱霸幼稚園	2018-09-22 21:49:00	sml-str40	中午 吃 完 了 所谓 的 早茶 回去 放下 行李 休息 了 会 就 来 吃 下午茶 了 服...	很好	很好	很好	518986	4.0	2018	9	5	21	255.0	1.0
2	爱吃的美美侠	2018-09-22 22:16:00	sml-str40	冲刺 王者 战队 吃遍 蓉城 战队 有 特权 五月份 和 好 朋友 毕业 旅行 来 了 广州...	很好	很好	很好	518986	4.0	2018	9	5	22	255.0	1.0
3	姜姜会吃胖	2018-09-19 06:36:00	sml-str40	都 说来 广州 吃 糖水 就要 来南信 招牌 姜撞奶 红豆 双皮奶 牛 三星 云吞面 一楼 ...	非常好	很好	很好	518986	4.0	2018	9	2	6	184.0	1.0
4	forevercage	2018-08-24 17:58:00	sml-str50	一直 很 期待 也 最 爱 吃 甜品 广州 的 甜品 很 丰富 很 多样 来 之前 就 一直...	非常好	很好	很好	518986	5.0	2018	8	4	17	255.0	1.0
6	superclampfa	2018-08-15 00:39:00	sml-str40	补发 点评 目前为止 吃 过 的 最 好吃 的 双皮奶 没有 之一 去 广州 一定 要 尝试...	非常好	很好	很好	518986	4.0	2018	8	2	0	255.0	1.0
8	初小正	2018-09-15 22:26:00	sml-str40	广州 很胖 人 忍不住 的 要 吃 糖水 甜品 南信 的 店面 很 好找 上下 九 旅游区 ...	非常好	很好	非常好	518986	4.0	2018	9	5	22	255.0	1.0
9	水芙蓉88	2018-09-06 16:06:00	sml-str40	位于 步行街 上 沿着 步行街 一直 走 就 可以 到达 去 的 时候 不用 排队 门口 有...	很好	很好	很好	518986	4.0	2018	9	3	16	255.0	1.0
10	滚淡小姐	2018-09-12 20:44:00	sml-str40	不 知道 算不算 网红 只是 在 很多 小伙伴 的 朋友圈 都 看到 过 自然 要 来 打卡...	很好	很好	很好	518986	4.0	2018	9	2	20	255.0	1.0
11	请叫我伊丽莎丸袁哥	2018-08-22 11:30:00	sml-str50	这家 店 可谓 是 人气 爆棚 小贴士 是 座位 先 让 同行 小伙伴 找 好 否则 买好 ...	非常好	非常好	非常好	518986	5.0	2018	8	2	11	255.0	1.0
12	Hugewood	2018-08-09 13:03:00	sml-str40	这次 是 特地 为了 南信 才 去 的 上下 九 真的 是 一家 很 任性 的 店 准点 九...	好	很好	好	518986	4.0	2018	8	3	13	255.0	1.0
13	360_执着的马	2018-08-29 02:02:00	sml-str50	睡 到 自然 醒 又 去 上下 九 步行街 的 南信 要 一份 姜撞奶 一份 莲子 伴 椰汁...	非常好	非常好	非常好	518986	5.0	2018	8	2	2	163.0	1.0
14	小昕子_17	2018-08-28 13:02:00	sml-str40	广州 的 老字号 不少 其中 招牌 中有 文字 的 就 有 好几家 每家 都 有 自己 的 ...	很好	好	好	518986	4.0	2018	8	1	13	255.0	1.0
15	lincolnsuper	2018-09-06 22:14:00	sml-str40	传统 的 广式 甜品店 就 应该 是 这个 样子 店面 不 大 店员 都 是 有点 年纪 的...	很好	好	好	518986	4.0	2018	9	3	22	255.0	1.0
16	肥牛佳	2018-09-05 22:50:00	sml-str50	老广 同事 极力推荐 的 店铺 在 宝华 面馆 吃 完 主食 一路 散步 过来 接着 战斗 ...	非常好	一般	一般	518986	5.0	2018	9	2	22	255.0	1.0
17	两活勿连	2018-09-11 13:18:00	sml-str40	上下 九 步行街 上 的 网红 甜品店 人气 爆棚 门口 有 一面 墙 的 各种 认证 获奖...	非常好	好	好	518986	4.0	2018	9	1	13	240.0	1.0
18	宝贝longan	2018-09-05 15:34:00	sml-str40	不是 周末 节假日 在 上下 九 步行街 的 南信 甜品店 也 是 人山人海 就算 肯 一起...	很好	好	好	518986	4.0	2018	9