NLP情感分析技术公开课笔记

一、文本分类

任务目标：在给定的分类体系中，将文本分到指定的某个或者几个类别当中。

分类体系：一般由人工构造

产品应用：如意图识别，根据query，确认query所属的类别，如娱乐、新闻、体育等。

技术发展：

（1）基于规则的方法：依赖专家设计规则，准确率不高，泛化能力弱

（2）传统机器学习的方法（特征工程+算法）：SVM/ Naive Bayes/LR

（3）深度学习的方法（DNN、预训练）：fast text/TextCNN/LSTMBERT/ERNIE

评价指标：

（1）Accuracy,准确率 =预测正确的样本数/总样本数

      关注整体效果，适合均衡的数据

（2）Recall,召回率=预测正确的样本数/标注的样本数

       关注模型预测的全不全，漏了哪些东西

（3）Precision,精确率=预测正确的样本数/预测出来的样本数

        关注模型预测的准不准

（4）F1.综合指标=2*P*R/(P+R)

        综合指标，同时考虑P和R

二、情感分析的背景

   百科或新闻一类的文本具有事实性；评论或社交网站的文本具有用户性

情感分析的应用场景

    消费决策：通过在购物网站上的评论确定商品的好评度

    舆情分析：社交网站上通过对某一热点的分析确定舆论方向是积极还是消极

情感分析技术架构

情感分类

给定一个文本或实体，判断其情感的极性，包括积极、消极和中性。分为句子级、实体级和篇章级

（1）基于规则的方法：情感词典（正向情感词典、反向情感词典）

（2）经典分类问题

         传统方法：最大熵、SVM

         特征：情感词、n-gram、POS

（3）最新进展

        基于深度学习：BiLSTM、CNN

        基于预训练：BERT、ERNIE

情感分类常用模型

（1）常用模型-BOW

（2）常用模型-CNN

（3）常用模型-BiLSTM

预训练模型

 

 

   注  ：NLPCC2014微博情感分析数据集 https://github.com/qweraqq/NLPCC2014_sentiment