文献阅读:A Method of Sentiment Classification for Chinese Aspect Level Based on Information Fusion

大家好!我是研一小白梨,这篇博客严格意义上来讲并不算一篇文献分享,因为初读文献,我的知识储备还比较少,期待能和大家一起探寻NLP的奥秘,若有不足之处还请各路大佬批评指正!

题目:基于信息融合的汉语方面级情感分类方法

 ABSC(方面级情感分类):识别文本数据中特定方面的情感极性。

针对于ABSC任务,微调预训练模型PTM是优于基于语法的方法的。

(现有的ABSA:1.基于上下文的方法:CNN和RNN+注意力机制进行捕获;2.基于语法的方法:GCN,也就是对句子进行建模,建立语法依赖树捕获依赖关系,通过改进GCN模型,现有GCN模型也会关注:①句法依赖关系、依赖类型;②语义依赖关系、词间依赖关系、位置关系、中心方面词和其他方面词的关系;③多个方面之间的交互依赖。在句法和语法依赖关系中其实也隐含着它关注上下文的信息。)

文章提出了一种微调预训练模型,在模型中考虑:①上下文信息(整体—局部);②意见词信息(观点词);③提示信息。使模型可以捕获方面之间的复杂关系和相应的情感表达,预测方面的情感极性。 该模型在中文数据集hotel review text in chinese上优于之前的SOTA model(LCF-ATPE),但在英文数据集上的结果并没有中文数据集上那么好。

BERT是NLP中最流行的预训练PTM架构,①其变体RoBERTa被广泛用于微调ABSC任务中;②其变体ERNIE整合来自不同预训练任务的知识,并利用更细粒度的知识,增强了捕捉微妙语义关系的能力。文章选用ERNIE。

提示学习方法——推进了NLP微调的范式。

方法介绍

①方面标记——Aspect tokens——利用意见词信息

②句子标记——ELS——利用上下文信息

③提示模板标记——MASK——利用提示信息

 W为分配的可学习权重。

最后将信息相加导入前馈神经网络分类器进行预测。

实验数据集

中文:①CDMTSC;② LCF-ATEPC。

英文: SemEval  2014 Task 4 Sub Task 2 dataset。

损失函数:

优化器

AdamW优化器

结果

我下一步要做的事情:

1.BERT+RoBERTa+ERINE(CLS+MASK);

2.LCF+LSA;

3.LOSS+AdamW。

  • 9
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值