A Robustly Optimized BMRC for Aspect Sentiment Triplet Extraction阅读笔记

最新推荐文章于 2024-03-19 22:33:33 发布

绿箭薄荷

最新推荐文章于 2024-03-19 22:33:33 发布

阅读量725

点赞数 2

分类专栏：学习文章标签： python 人工智能机器学习

本文链接：https://blog.csdn.net/qq_40478033/article/details/126644581

版权

学习专栏收录该内容

18 篇文章

订阅专栏

文章目录

前言
方法
实验
参考文献

前言

ASTE是一个有趣的任务，双向机器阅读理解模型（BMRC）虽然可以有效的解决ASTE，但还存在一些问题，例如共享分类器导致的查询冲突等。一些有效策略也被忽略，分词，span 匹配和概率生成。
因此，本文提出一个稳定的优化BMRC方法，ASTE转化成机器阅读理解问题，通过基于特定上下文的双向查询处理方面和意见之间的复杂对应关系，这种关系更好预测各种sentiments。为了更有效的解决ASTE任务，本文合并了分词和exclusive分类器，并且改进sapn匹配，增加了概率和位置关系相结合的优先级规则。本文优化了概率生成以避免unilateral dcrease（不清楚什么意思）
总结贡献：
1.BMRC设计专用分类器，以避免不同问答步骤之间的干扰和查询冲突
2.通过添加分词、改进span匹配和概率生成，进一步提高了预测性能
3.在基准数据集上做了大量的实验，提出的模型达到了sota表现

方法

简单说明ASTE任务和BMRC模型，详细介绍我们的四个改进。

问题建模

给出一个句子 $W=\lbrace w_1,w_2,...,w_M\rbrace$ ,有M个token，ASTE任务是鉴定三元组 $T=\lbrace(a_i,o_i,s_i) \rbrace_{i=1} ^{|T|}$ , $∣ T ∣$ 表示三元组数量。

BMRC

BMRC可以根据上下文提出相应的问题，并且模型输出想要的答案
前向query
后向query
情感预测
在这里插入图片描述

word segmentation

使用bert’中wordpiece分词words to subwords

Exclusive Classifiers

需要不同的queries
原始BMRC所有queries共享一个classifier，会引起冲突，因此添加特有分类器，提高性能

span Matching

1.考虑开始位置，结束位置的概率
2.考虑位置的关系
1表示模型对位置的乐观程度，2判断开始结束位置span尽可能的近。
概率的优先级高

Probability Generation

双向查询和span匹配完成，就可以得到具有对应关系的方面意见对，在BMRC中，开始和结束位置的概率乘积作为span的概率，匹配（pair）的概率是aspect和opinion的概率乘积。这种方式pair 概率单边下降（decreases unilaterally）不能很好的代表模型对pair的预测。
For example, the probability of the four positions of pair is
0.9, while the probability of pair is $0.9^4$ = 0.6561,which seems not so reasonable
通过概率生成，我们可以有效地解决span和pair 的概率单边下降（decreases unilaterally）的问题，使它们的概率更能有效反映模型的期望。
在这里插入图片描述
平衡 span 和 pair 的概率，使它们的概率在两个相关概率的区间内。它使我们能够避免概率的单边降低，但更适合模型的期望。
这个计算方法 $P (span_{start})$ and $P (span_{end})$ 与BMRC $^{[1]}$ 一致

实验

数据集、评估指标、基线、实验结果、消融实验

数据集

ASTE-Data-v1 $^{[2]}$
ASTE-Data-v2 $^{[3]}$
V2是V1的精化数据

评估标准

使用精度（P），召回（R）和F1分数作为评估指标来评估性能。仅当正确预测方面，观点和情感时，三元组预测才正确

结果

在这里插入图片描述

消融实验

在ASTE-Data-v2上消融，逐渐叠加，每项改进都提高了模型的性能，证明了其优势和有效性。
F1实验至少3次
在这里插入图片描述

参考文献

1.Shaowei Chen, Yu Wang, Jie Liu, and Yuelin Wang.2021. Bidirectional machine reading comprehen-sion for aspect sentiment triplet extraction. Proceedings of the AAAI Conference on Artificial Intelligence, 35(14):12666–12674
2.Haiyun Peng, Lu Xu, Lidong Bing, Fei Huang, Wei Lu,and Luo Si. 2020. Knowing what, how and why:A near complete solution for aspect-based sentiment analysis.Proceedings of the AAAI Conference on Artificial Intelligence, 34(05):8600–8607
3.Lu Xu, Hao Li, Wei Lu, and Lidong Bing. 2020.Position-aware tagging for aspect sentiment triplet extraction. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2339–2349, Online.Association for Computational Linguistics