A Robustly Optimized BMRC for Aspect Sentiment Triplet Extraction

A Robustly Optimized BMRC for Aspect Sentiment Triplet Extraction

用于方面情感三元组提取的稳健优化BMRC
code
at https://github.com/ITKaven/RoBMRC

摘要：

在基于方面的情感分析中，方面情感三元组提取（ASTE）是一个具有挑战性的子任务。它旨在从语境中探索具有复杂对应关系的方面、观点和情感的三元组。双向机器阅读理解（BMRC）可以有效地处理ASTE任务，但仍存在一些问题，如查询冲突和概率单边下降。因此，本文提出了一种稳健优化的BMRC方法，包括四个改进。为了便于语义学习，采用了分词的方法。排他分类器的设计是为了避免不同查询之间的干扰。提出了跨度匹配规则来选择更好地代表模型期望的方面和观点。还引入概率生成策略来获得方面、观点和方面观点对的预测概率。
本文贡献：

1. BMRC中设计了排他分类器，以避免不同问答步骤之间的干扰和查询冲突。
2. 通过添加分词、改进跨度匹配和概率生成来进一步提高预测性能。
3. 在基准数据集上进行了大量实验，该模型达到了最先进的性能。
   方法：
   -任务定义：
   
   Forward Query：
   BMRC将根据上下文查询所有方面；然后，根据每个预测的方面，从上下文中查询描述它的所有意见。
   Backward Query：
   BMRC将根据上下文查询所有意见；然后，根据每个预测的观点，从上下文中查询描述它的所有方面。
   Sentiment Prediction：
   一旦获得了方面-观点对，就可以构造情感查询来根据上下文预测相应对的情感。
   
   Word Segmentation：
   -在BERT（Devlin et al.，2019）中使用基于单词的标记器将单词分割为子单词。假设“行走”这个词被输入到模型中，除非它在训练语料库中多次出现，否则模型可能无法很好地处理这个词。当类似的单词如“walk”、“walker”或“walks”出现时，如果没有分词，它们将被视为完全不同的单词。然而，如果将它们细分为“walk##ing”、“walk##ed”、“walk##er”和“walk-#s”，则它们的子词“wal”包含相同的语义，这在训练期间非常常见。从这个意义上讲，模型能够通过分词来学习更多信息。
   Exclusive Classifiers：
   双向查询是在BMRC中执行的，模型需要根据上下文执行多种不同类型的查询。例如，前向查询中的方面查询与后向查询中的观点查询不同。前者查询上下文中的所有方面，而后者查询上下文中所有观点，需要不同的实体。另一个例子是前向查询中的方面查询和后向查询中的方面查询。虽然两个查询的实体是相同的，但后者传递意见信息并搜索其描述的所有方面，而前者不携带任何上下文信息，即上下文中的所有方面。在原始BMRC中，所有查询共享一个分类器。然而，如果不同类型的查询使用相同的分类器，它就不能很好地服务于任何部分。这些不同类型的查询将相互干扰并导致查询冲突。
   -通过添加排他分类器，每种不同类型的查询都可以使用唯一的分类器，这可以有效避免查询冲突问题，并大大提高模型的性能。
   
   -Span Matching：
   在通过二进制分类器获得每个位置的预测值作为跨度的开始或结束位置后，使用softmax函数将预测值转换为概率（Chen等人，2021）。预测跨度时，可以预测许多起始和结束位置。匹配应考虑开始和结束位置的概率以及位置之间的关系。前者代表模型对位置的乐观程度，后者是判断span的开始和结束位置尽可能接近；概率的优先级更高。
   因此跨度匹配规则的概述是：使每个结束位置与前一个结束位置之后具有最高概率的开始位置匹配。如果有相同概率的开始位置，请选择位置最接近结束位置的位置。
   -Probability Generation：
   双向查询和跨度匹配完成后，将获得具有相应关系的方面、观点和对。在BMRC中，开始和结束位置的概率乘积被视为跨度的概率，（匹配）对的概率是方面和观点的概率乘积。这样pair的概率单方面降低，不能很好地代表模型对pair的预测。例如pair的四个位置的概率是0.9，而pair的概率是0.9^4 = 0.6561，这似乎不太合理。通过概率生成，可以有效地解决span和pair 的概率单边下降（decreases unilaterally）的问题，使它们的概率更能有效反映模型的期望。其中我们平衡跨度和对的概率，使它们的概率在两个相关概率的区间内。它能够避免概率的单方面降低，但更符合模型的预期。
   
   P()表示的预测概率。span 代表一个方面或意见，span_start 和 span_end 代表它的开始和结束位置。 pair 代表一个aspect-opinion 对，pair_asp 和pair_opi 代表这对中的aspect 和opinion。
   跨度匹配和概率生成的效果如图：
   

实验结果:

在ASTE-Data-v1的Laptop14、Rest14、Rest15和Rest16数据集上，与原始BMRC相比，我们模型的F1得分分别增加了4.20、2.97、5.61和5.52。

对于ASTE-Data-v2，我们还将 Span-ASTE（Xu等人，2021）的F1分数分别增加了0.77、2.74、2.36和2.90。这表明我们的改进非常显著。
消融实验：

该模型是基于BMRC的复制，然后逐步叠加分词、排他分类器、跨度匹配和概率生成四项改进，以进行消融实验。这种排列对应于他们接触数据前后的顺序，即数据将首先通过分词并进入模型，从排他分类器中获得预测值，然后根据其进行跨度匹配。最后，概率生成用于生成方面、观点和对的概率表示。消融实验结果如表3所示。每次改进都提高了模型的性能，证明了它们的优势和有效性。