论文笔记 ICLR 2021|STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES

125 篇文章 16 订阅

1 简介

论文题目:STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES
论文来源:ICLR 2021
组织机构:Amazon Web Services
论文链接:https://arxiv.org/pdf/2101.05779.pdf
代码链接:https://github.com/amazon-research/tanl

1.1 动机

  • 大部分方法处理结构预测使用具体任务的鉴别器,这些方法存在两种限制:
    1. 分类器不能轻易地利用预训练模型的潜在知识(可能已经具有的关于任务标签的含义(语义))。
    2. 鉴别器的结构应用于具体的任务,训练一个模型解决多个任务是困难的。

1.2 创新

  • 提出TANL框架,以一种统一的方式解决多个结构预测任务,映射结构预测任务为翻译任务,通过设计增强自然语言,能够将结构化信息编码为输入或输出的一部分。
  • 同时在多个任务上训练一个模型,与单任务模型相比,获得可比较或更好的结果。
  • 由于标签语义知识转移的改进,与以前的方法相比,可以提高少样本情景中的性能。
  • 虽然我模型是纯生成的(输出一个句子,而不是类标签),但它可以通过使用输出token似然度作为类分数的代理来进行有区别的评估,从而产生更准确的预测。

2 方法

在这里插入图片描述
整体框架如上图,输入和输出是具体的增强自然语言。

2.1 Augmented natural languages

使用实体关系联合抽取任务为例子,展示增强自然语言的格式,实体和关系使用[]符号分隔,实体类型和关系使用I符号分隔(X=Y,其中X为关系类型,Y是尾实体),输出重复输入的单词,可以减少一个实体出现多次造成的歧义性。
在这里插入图片描述

2.2 Nested entities and multiple relations

下图表示嵌套的实体和多个关系时,增强自然语言的格式,“lithium toxicity”的类型为disease,”“lithium”的类型为drug,“lithium toxicity”与“acyclovir”的关系为“effect”,与“lithium”的关系为“effect”。
在这里插入图片描述

2.3 Decoding structured objects

得到输出后,解码句子得到预测的结构,过程如下:

  1. 移除特殊的token,抽取实体类型和关系,格式非法的删除。
  2. 使用Needleman-Wunsch alignment algorithm对齐识别的token和输入句子中的实体。(如下图,拼写错误的“Aciclovir”可与正确的“acyclovir”对齐)
  3. 对于输出中的关系,尾实体与最近的实体对齐。
  4. 移除不属于数据库的实体类型或关系类型。

在这里插入图片描述

2.4 Multi-task learning

该模型可以应用的多数据集上,在输入文本前加入数据库名,使用:分隔(如“ade :”))

2.5 Categorical prediction tasks

对于分类任务,不使用分类器的方法,使用输出序列似然度作为类别分数的代理。

3 不同任务

  • Joint entity and relation extraction: 上一小节。
  • Named entity recognition (NER):上一个任务的特例(仅实体)。
  • Relation classification:在文本后面加入“The relationship between [ head ] and [ tail ] is?”表明头尾实体,输入输出格式如下图:
    在这里插入图片描述
  • Semantic role labeling (SRL):在输入中标记谓语,输入输出格式如下图:
    在这里插入图片描述
  • Event extraction:先抽取触发词再抽取论元,输入输出格式如下图:
    在这里插入图片描述
  • Coreference resolution:对于不是第一次出现的提及,引用第一次出现的提及,输入输出格式如下图:
    在这里插入图片描述
  • Dialogue state tracking (DST):对话前加入“[ user ] :”和“[ agent ] :”,分别表示对话的角色,输出为slot名称和预测的值,“[ belief ]”为生成结束,没有值的生成“not given”,输入输出格式如下图:
    在这里插入图片描述

4 实验

预训练模型为T5-base,全部实验参数一致,除了一些数据库特殊的参数(如最大序列长度),实验结果如下图:
在这里插入图片描述
低资源和消融实验结果:
在这里插入图片描述

《自适应通用广义PageRank图神经网络》是在ICLR2021中发布的一篇论文。这篇论文提出了一种新的图神经网络模型,称为自适应通用广义PageRank图神经网络。 传统的图神经网络通常使用节点和边的特征来进行节点分类和链接预测等任务,但在处理大规模图时存在计算复杂度高和难以处理隐含图结构的问题。为了解决这些问题,这篇论文引入了PageRank算法和广义反向传播法,在保留图结构信息的同时有效地处理大规模图数据。 这个模型的核心思想是将PageRank算法和图神经网络相结合,通过模拟随机游走过程对节点和边进行随机采样,并利用广义反向传播法将PageRank值传播给相邻的节点。通过这种方式,网络可以在保留图结构信息的同时,有效地进行节点嵌入和预测任务。 另外,这篇论文还提出了自适应的机制,允许网络根据不同的任务和数据集调整PageRank算法的参数。通过自适应机制,网络可以更好地适应不同的图结构和特征分布,提高模型的泛化能力。 实验证明,这个自适应通用广义PageRank图神经网络在节点分类、链路预测和社区检测等任务上都取得了比较好的效果。与传统的模型相比,该模型在保留图结构信息的同时,具有更高的计算效率和更好的预测能力。 总的来说,这篇论文提出了一种新颖的图神经网络模型,通过将PageRank算法与图神经网络相结合,可以有效地处理大规模图数据,并通过自适应机制适应不同的任务和数据集。这个模型在图神经网络领域具有一定的研究和应用价值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hlee-top

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值