[论文笔记-1]Aspect-based Sentiment Analysis as Machine Reading Comprehension

lnbbbb

已于 2023-01-14 13:34:00 修改

阅读量316

点赞数 4

文章标签：论文阅读人工智能

于 2023-01-13 21:00:08 首次发布

本文链接：https://blog.csdn.net/lnbbbb/article/details/128660610

版权

题目、作者

一、Abstract

1. 现有的研究通常通过堆叠多个神经模块来处理基于方面的情感分析，这不可避免地导致严重的错误传播

2. 本文提出了MRCOOL: MRC-PrOmpt mOdeL框架

二、Introduction

1. 方面词提取(Aspect term extraction)和方面层次情感分类(aspect-level sentiment classification)是ABSA的两个子任务；(结合前面两个任务)方面术语提取和情感分类(aspect term extraction and sentiment classification)建立了第三个基本子任务。

example:

2. 通常，MRC模型可以根据给定的段落对问题给出正确的答案

3. 现存的主流研究方法：

① 先提取方面术语，然后用其他作者的方法进行情感分类，来实现AESC

② 通过联合或交互的方式实现方面词的提取和对应情感极性的识别

4. 提示学习是利用预训练语言模型知识的自然方式，其要求将下游任务调整为相应的预训练语言模型的自监督学习任务【关于提示学习详见尾部附录】

5. 阅读理解和提示学习明显的缺点：

① 耗费人力，且不能保证找到最匹配的查询答案。

② 不能充分利用预训练语言模型的知识

6. 由于上述缺点，本文提出一个端到端的MRCOOL框架，可以一次性处理AE、SC和AESC：

AE→阅读理解；SC→提示学习

三、MRCOOL Framework

MRCOOL总览：

3.1 Task Formulation

把AE、SC 、AESC三个ABSA子任务看做一个抽取(aspect, polarity)元组的任务。

我们将AE作为阅读理解任务，把输入的句子X看做段落，把方面词A看做对模型提问的答案

由于AE数据集不包含阅读理解的问题Q(与MRC模型不兼容)，所以我们构造了一个专用的问题集合Q。问题集合Q在训练过程中可以优化其embedding，并在连续空间中为每个句子x搜索最优的最佳匹配问题

3.2 Aspect Term Extraction as Machine Reading Comprehension

先看图！

如图所示，得到S后，接下来是方面词的提取(AE)，我们采用两个独立的二元分类器来预测一个token是一个方面的开始位置还是结束位置，得到所有方面词的开始和结束位置以后，他们中间的便是aspect。

3.3 Aspect-level Sentiment Classification as Prompt Learning

这部分如果您详细了解过提示学习，就会觉得非常清楚！

在这部分中，我们将普通的情感分类问题，转化为将提示语句Q中[mask]处预测为预先指定的单词w(即从预先定义的答案空间中选取答案进行完形填空)的问题。

第一步：我们挑选了4个提示模板：

第二步：拿到一个句子X和其中的一个方面词，分别将句子填到[CLS]与[SEP]中间，将方面词填到第一步模板中ai的位置(填充前是Ti，填充后是Qi)，最终得到的形式(作为预训练语言模型embedding之前的input)。

如果感觉太抽象，看下图便一目了然！

输入之后，embedding、encode，通过一个双层的MLP(防止模型稀疏)预测，得到预先定义好的答案空间中的答案(即对[mask]位置的预测，进行完形填空，如I felt the waiters was friendly)

最后，通过argmax函数，将预测[mask]位置得到的预先指定的单词w映射到真正的标签中(如I felt the waiters was friendly→positive)，得到最终(ai对应)的情感极性

【注】Verlalizer的作用：将预测[mask]得到的答案(通过算法)映射到真实标签

模型流程总结：

当给定一个句子X时，我们的框架首先将它输入到MRC模型中，并接收候选方面词集合A，然后枚举A中的每个方面词ai构造四个与之对应的X的模板，提示学习模块接收它们并输出极性P，从而得到三元组——（句子、方面、情感极性）作为AESC的结果。

四、实验

附录：

提示学习(prompt Learning)

对输入的文本信息按照特定模板(template)进行处理，把任务重构成一个更能够充分利用预训练语言模型处理的形式。简而言之，就是将输入文本作为一个提示 (prompt)，接着拼一个(mask待预测信息的)语句，再让模型来对这个语句的mask部分进行完形填空(从答案空间中寻找答案)，最后把找到的答案映射到真实的分类标签(如：good→positive)。【如果用一句话总结提示学习在情感分析中的应用，就是将待分类的text与提示模板(prompt templates)一起喂给模型，让模型完成完形填空的工作】

如果想更深入的学习提示学习，传送门如下：

[综述]鹏飞大神的Pre-train, Prompt, and Predict

近代自然语言处理技术发展的“第四范式”

刘鹏飞大神原版论文：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

参考文章：近代自然语言处理技术发展的“第四范式

本篇文献链接：https://aclanthology.org/2022.coling-1.217.pdf

【声明】由于本人能力有限，不免文中有错误之处，还请指正。