文章目录
1 简介
论文题目:STRUCTURED PREDICTION AS TRANSLATION BETWEEN AUGMENTED NATURAL LANGUAGES
论文来源:ICLR 2021
组织机构:Amazon Web Services
论文链接:https://arxiv.org/pdf/2101.05779.pdf
代码链接:https://github.com/amazon-research/tanl
1.1 动机
- 大部分方法处理结构预测使用具体任务的鉴别器,这些方法存在两种限制:
- 分类器不能轻易地利用预训练模型的潜在知识(可能已经具有的关于任务标签的含义(语义))。
- 鉴别器的结构应用于具体的任务,训练一个模型解决多个任务是困难的。
1.2 创新
- 提出TANL框架,以一种统一的方式解决多个结构预测任务,映射结构预测任务为翻译任务,通过设计增强自然语言,能够将结构化信息编码为输入或输出的一部分。
- 同时在多个任务上训练一个模型,与单任务模型相比,获得可比较或更好的结果。
- 由于标签语义知识转移的改进,与以前的方法相比,可以提高少样本情景中的性能。
- 虽然我模型是纯生成的(输出一个句子,而不是类标签),但它可以通过使用输出token似然度作为类分数的代理来进行有区别的评估,从而产生更准确的预测。
2 方法
整体框架如上图,输入和输出是具体的增强自然语言。
2.1 Augmented natural languages
使用实体关系联合抽取任务为例子,展示增强自然语言的格式,实体和关系使用[]符号分隔,实体类型和关系使用I符号分隔(X=Y,其中X为关系类型,Y是尾实体),输出重复输入的单词,可以减少一个实体出现多次造成的歧义性。
2.2 Nested entities and multiple relations
下图表示嵌套的实体和多个关系时,增强自然语言的格式,“lithium toxicity”的类型为disease,”“lithium”的类型为drug,“lithium toxicity”与“acyclovir”的关系为“effect”,与“lithium”的关系为“effect”。
2.3 Decoding structured objects
得到输出后,解码句子得到预测的结构,过程如下:
- 移除特殊的token,抽取实体类型和关系,格式非法的删除。
- 使用Needleman-Wunsch alignment algorithm对齐识别的token和输入句子中的实体。(如下图,拼写错误的“Aciclovir”可与正确的“acyclovir”对齐)
- 对于输出中的关系,尾实体与最近的实体对齐。
- 移除不属于数据库的实体类型或关系类型。
2.4 Multi-task learning
该模型可以应用的多数据集上,在输入文本前加入数据库名,使用:分隔(如“ade :”))
2.5 Categorical prediction tasks
对于分类任务,不使用分类器的方法,使用输出序列似然度作为类别分数的代理。
3 不同任务
- Joint entity and relation extraction: 上一小节。
- Named entity recognition (NER):上一个任务的特例(仅实体)。
- Relation classification:在文本后面加入“The relationship between [ head ] and [ tail ] is?”表明头尾实体,输入输出格式如下图:
- Semantic role labeling (SRL):在输入中标记谓语,输入输出格式如下图:
- Event extraction:先抽取触发词再抽取论元,输入输出格式如下图:
- Coreference resolution:对于不是第一次出现的提及,引用第一次出现的提及,输入输出格式如下图:
- Dialogue state tracking (DST):对话前加入“[ user ] :”和“[ agent ] :”,分别表示对话的角色,输出为slot名称和预测的值,“[ belief ]”为生成结束,没有值的生成“not given”,输入输出格式如下图:
4 实验
预训练模型为T5-base,全部实验参数一致,除了一些数据库特殊的参数(如最大序列长度),实验结果如下图:
低资源和消融实验结果: