yes or no?基于词典的情感分析法

本文介绍了基于词典的情感分析方法,包括其应用场景、痛点以及实施步骤。通过使用褒贬义词典统计文本中情感词的数量来判断情感倾向。在实际应用中,这种方法效果不尽如人意,正确率为55%,提出了三种改进措施:调整临界值、优化分词和优化词典。实验证明,阈值调整可以提高正确率。
摘要由CSDN通过智能技术生成

自更博以来第一次断更,现在先把文本分析的坑补上,这篇文章着重介绍情感分析的两种基本方法之一:基于词典的情感分析(下篇讲基于监督的情感分析),建模环境为R。

1 背景与目的

1.1 情感分析的应用场景

顾客的评价最能反映其对商品的使用感受,对此类信息进行加工,提炼产品痛点和亮点,实现针对性改进和营销,是一个很有意义的方向。
研究这些文本内容的情感倾向(比如正、负or中),就是咱们情感分析要解决的问题。

1.2 情感分析的痛点

1)研究对象难,情感分析的研究对象是长文本,相比其它传统数据类型,难度更大,加上话语表达博大精深拐弯抹角阴阳怪气,连人都分不清的话中话,就别指望模型了;
2)建模过程难,这也是文本类分析的通病,有大量分词操作和超级稀疏矩阵,吃内存;
3)前期工作要求高,有些数据和模型几乎啥都不要可以直接上手,但情感分析不行,基于词典的情感分析需要精确度较高囊括范围较广的词典,基于监督的情感分析则需要预置情感类型准确性较高的文本进行训练,这些数据都是需要人工标注的。
情感分析前期准备工作量大,中间建模过程难,最后结果也未必如人意,但还是要做,因为大型语料以人力实现难、枯燥且不具有连续型,而一个不断训练提升的模型最后不管是从成本从效率还是准确性来说相比起来并不差。另外,以工具解放工具人,让人去干人该干的事,也是建模的初衷之一。

2 方法与实现

2.1 什么是基于词典的情感分析

简单来说就是以包含的褒义词和贬义词的数量投票
先分词,然后对比分词结果与已总结好的褒义词和贬义词词典,统计两类词汇的数量,哪边多情感偏向哪边。词典的准确性直接影响该方法的分类效果,常规情感词典参考:
在这里插入图片描述

2.2 怎么做词典式情感分析

2.2.1 数据介绍

1)语料
酒店评论文本:训练集23967条,测试集4000条(清华李军标注整理)
在这里插入图片描述
2)词典
正向词汇21563个,负向词汇24575个(上面方法介绍中提到的参考词典的分类汇总)
在这里插入图片描述

2.2.2 训练集分词

在这里插入图片描述

#文本清洗
sentence <- as.vector(test$msg)  
sentence <- gsub("[[:digit:]]*", "", sentence)  #清除数字[a-zA-Z]
sentence <- gsub("[a-zA-Z]", "", sentence)
sentence <- gsub("\\.", "&
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值