一、文本分类
任务目标:在给定的分类体系中,将文本分到指定的某个或者几个类别当中。
分类体系:一般由人工构造
产品应用:如意图识别,根据query,确认query所属的类别,如娱乐、新闻、体育等。
技术发展:
(1)基于规则的方法:依赖专家设计规则,准确率不高,泛化能力弱
(2)传统机器学习的方法(特征工程+算法):SVM/ Naive Bayes/LR
(3)深度学习的方法(DNN、预训练):fast text/TextCNN/LSTMBERT/ERNIE
评价指标:
(1)Accuracy,准确率 =预测正确的样本数/总样本数
关注整体效果,适合均衡的数据
(2)Recall,召回率=预测正确的样本数/标注的样本数
关注模型预测的全不全,漏了哪些东西
(3)Precision,精确率=预测正确的样本数/预测出来的样本数
关注模型预测的准不准
(4)F1.综合指标=2*P*R/(P+R)
综合指标,同时考虑P和R
二、情感分析的背景
百科或新闻一类的文本具有事实性;评论或社交网站的文本具有用户性
情感分析的应用场景
消费决策:通过在购物网站上的评论确定商品的好评度
舆情分析:社交网站上通过对某一热点的分析确定舆论方向是积极还是消极
情感分析技术架构
情感分类
给定一个文本或实体,判断其情感的极性,包括积极、消极和中性。分为句子级、实体级和篇章级
(1)基于规则的方法:情感词典(正向情感词典、反向情感词典)
(2)经典分类问题
传统方法:最大熵、SVM
特征:情感词、n-gram、POS
(3)最新进展
基于深度学习:BiLSTM、CNN
基于预训练:BERT、ERNIE
情感分类常用模型
(1)常用模型-BOW
(2)常用模型-CNN
(3)常用模型-BiLSTM
预训练模型
注 :NLPCC2014微博情感分析数据集 https://github.com/qweraqq/NLPCC2014_sentiment