[论文笔记-12]MVP: Multi-view Prompting Improves Aspect Sentiment Tuple Prediction

题目、作者：

Abstract

1.写作目的：现有的研究通常以固定的顺序预测情感元素，忽略了情感元组(方面词,方面类别,意见词,情感极性)中元素的相互依赖性和语言表达的多样性对结果的影响。

2.本文方法概括介绍：本文提出了多视图提示(MVP)，它聚合了以不同顺序生成的情感元素，利用了类似人类的直觉，从不同角度解决问题。【看到模型图就懂了】

3.具体实现细节+方法性能好

1. Introduction

1.ABSA不同任务的目标：

2.以往生成式方法工作的不足：

以往的作品通常以从左到右的固定顺序生成情感元素的序列，忽略了情感元组中元素的相互依赖性和语言表达的多样性对目标的影响。例如如下的C→S→A→O单序列预测：

这种方式预测的缺陷：

(1)不完备性，元组预测不是文本生成任务，元素之间的关系不是有序的，而是相互依赖的;

(2)不稳定性，不同目标模板顺序的性能差异显著;

(3)误差积累，前期的预测误差会不断积累，影响后期的预测。

3.本文方法介绍：

Multi-view Prompting (MVP)：

①引入了基于元素顺序的提示学习来控制情感元素的预测顺序，从而实现多样化的目标表达。

②通过接收来自多个视图的信息减轻了固定顺序的不完备性和不稳定性，同时通过元素的排列减轻了生成方法潜在的错误积累(与单阶生成相比)

4.contributions:

1)引入了一种基于元素顺序的提示学习方法MVP，该方法通过聚合多视图结果来改进情感元组预测。

2) MVP自然允许我们在所有任务上同时训练单个模型。据我们所知，多任务MVP是第一个在各种ABSA任务上显著优于特定任务模型的单一模型。

3)实验表明，MVP在4个任务的10个数据集上显著提高了技术水平，在低资源环境下也相当有效。

2. Methodology

模型总览：

模型包括三个部分：

①基于元素顺序的提示：排列多个元素以形成顺序提示，并根据条件生成分数构造一个适当的子集；

②多视图元组预测：基于提示子集生成由来自不同视图的元组组成的多个序列。每个元组的元素顺序与输入中的提示一致；

③聚合：聚合/汇总多个预测并获得最终输出。

模型概述：本文考虑了情感元素的每一种可能的排列(三元组为6，四元组为24)，并出于效率和有效性的原因选择适当的子集。根据不同顺序的提示，模型可以从不同的视图生成多个元组。有些视图给出相同的正确元组，而有些视图效果较差，因此可能是错误的，但不太可能导致相同的错误。换句话说，不同的视角往往在正确的情感元组中表现出更多的一致性。根据这种直觉，提出的MVP聚合并接受大多数视图同意的元组作为最终结果。

【注】这部分本文以ACOS任务为例，其他任务稍加修改即可

2.1 Problem Definition

输入：一个句子

输出：(方面词，方面类别，意见词，情感极性)四元组

另外，为了利用标签语义，我们将这些元素分别解释为自然语言，例如，我们将情感极性s的“POS”标签映射到“great”，将意见项o的“NULL”标签映射到“it”。

2.2 Element Order-based Prompt Learning

本文使用有序的目标方案设计目标，并使用元素顺序提示输入目标。

2.2.1 Ordered Target Schema

为了表示不同的情感元素，我们遵循DLO方法，并设计元素标记来表示信息的结构。

我们为每个元素添加相应的标记作为前缀，并将它们以给定的排列顺序连接起来作为目标序列，例如

2.2.2 Element Order Prompts

元素顺序提示分为两步：

①连接元素标记来设计元素顺序提示，以表示情感元素的期望顺序

②我们将提示符作为后缀添加到每个输入句子中，以获得最终的输入

2.3 Multi-view Training

对于训练，MVP选择合适的元素顺序来构建输入-目标对，然后对Seq2Seq模型进行微调。

2.3.1 Element Order Selection

由于开销随着视图的数量和不同视图的性能的变化而线性增加，我们需要选择适当的元素顺序。我们根据训练集上候选排列的平均熵选择可能表现更好的顺序。

情感元素顺序选择步骤：

①我们使用情感元素的每一个可能的排列pi(例如上图中的[O][A][C][S])作为候选;

②给定一个句子x和它的目标元组，本文构造了排列pi的有序目标模式ypi

()，将其中的元素标记替换为空格以避免噪声，并查询预训练的语言模型，得到条件生成分数

③计算训练集D上排列pi的平均分数(即平均熵，哪个分数高选择哪个元素顺序)

本文使用该公式，对每个pi进行计算并排列分数，取分数排名前m个序列。

2.3.2 Training

基于m个序列，我们为每个句子构建了m个不同的有序提示和目标。给定输入-目标对(x, y)，我们可以微调预训练的序列到序列语言模型(LM)，如BART 或T5 ，最大限度地减少以下消极的对数似然损失:

其中T是目标序列y(输出)的长度，y< T表示先前生成的token

2.4 Multi-view Inference

在推理方面，MVP提示训练后的模型按照之前选择的顺序规范地生成多个情感元组，并最终聚合得到最合理的元组。

2.4.1 Schema Constrained Generation

我们设计了一种基于模式的约束解码，将目标模式知识注入解码过程。它确保生成的元素位于相应的词汇表集中

2.4.2 Multi-view Results Aggregation

由于每个视图可以预测多个元组，因此我们首先汇总所有视图的结果，然后使用大多数视图中出现的元组作为最终预测结果，如图所示

该过程如公式所示，为排列pi的预测元组集合，其中可能包含一个或多个情感元组

3 Experiments

与生成式模型、多任务模型对比：

与GPT3.5对比：