大家好!我是研一小白梨,这篇博客严格意义上来讲并不算一篇文献分享,因为初读文献,我的知识储备还比较少,期待能和大家一起探寻NLP的奥秘,若有不足之处还请各路大佬批评指正!
题目:基于信息融合的汉语方面级情感分类方法
ABSC(方面级情感分类):识别文本数据中特定方面的情感极性。
针对于ABSC任务,微调预训练模型PTM是优于基于语法的方法的。
(现有的ABSA:1.基于上下文的方法:CNN和RNN+注意力机制进行捕获;2.基于语法的方法:GCN,也就是对句子进行建模,建立语法依赖树捕获依赖关系,通过改进GCN模型,现有GCN模型也会关注:①句法依赖关系、依赖类型;②语义依赖关系、词间依赖关系、位置关系、中心方面词和其他方面词的关系;③多个方面之间的交互依赖。在句法和语法依赖关系中其实也隐含着它关注上下文的信息。)
文章提出了一种微调预训练模型,在模型中考虑:①上下文信息(整体—局部);②意见词信息(观点词);③提示信息。使模型可以捕获方面之间的复杂关系和相应的情感表达,预测方面的情感极性。 该模型在中文数据集hotel review text in chinese上优于之前的SOTA model(LCF-ATPE),但在英文数据集上的结果并没有中文数据集上那么好。
BERT是NLP中最流行的预训练PTM架构,①其变体RoBERTa被广泛用于微调ABSC任务中;②其变体ERNIE整合来自不同预训练任务的知识,并利用更细粒度的知识,增强了捕捉微妙语义关系的能力。文章选用ERNIE。
提示学习方法——推进了NLP微调的范式。
方法介绍
①方面标记——Aspect tokens——利用意见词信息
②句子标记——ELS——利用上下文信息
③提示模板标记——MASK——利用提示信息
W为分配的可学习权重。
最后将信息相加导入前馈神经网络分类器进行预测。
实验数据集
中文:①CDMTSC;② LCF-ATEPC。
英文: SemEval 2014 Task 4 Sub Task 2 dataset。
损失函数:
优化器
AdamW优化器
结果
我下一步要做的事情:
1.BERT+RoBERTa+ERINE(CLS+MASK);
2.LCF+LSA;
3.LOSS+AdamW。