NAACL最佳方法论文 | 课本上的A*搜索算法可以提升文本生成效果!

每天给你送来NLP技术干货!


文 | Yimin_饭煲

来自 | 夕小瑶的卖萌屋

相信大多数学习过人工智能课程的读者,当听到算法的时候,都会有一种既熟悉又陌生的感觉。说算法熟悉,是因为一听到这个算法,就想起那本厚厚的《人工智能——一种现代的方法》,想起这个算法似乎是人工智能课程考试的重点;说算法陌生,是因为大家现在在从事人工智能相关的研究和开发工作时,似乎又很少用到这个算法,大部分时间都花在了研究数据处理和处理实验设置上面。而在NAACL2022上,一群来自AI2的自然语言处理研究者们 利用算法开发了一种新的自然语言生成解码方式,还被授予了NAACL2022 Best New Method paper。看起来已经过时的A*算法,居然能在深度学习时代有如此的妙用,看完这篇论文,笔者情不自禁地打开了《人工智能——一种现代的方法》,想看看还有什么经典算法可以深挖一下!

论文标题:
NEUROLOGIC A*esque Decoding: Constrained Text Generation with Lookahead Heuristics

论文链接:
https://arxiv.org/pdf/2112.08726.pdf

问题背景

自然语言生成任务一般指给定一个输入序列,生成一个输出序列。目的是解出使得目标函数最大化的序列,其中, , 而衡量对约束条件的满足。传统的Beam Search不考虑全局的最优,而是最优化当前步骤添加的Token.

402 Payment Required

为了达到全局最优的效果,需要满足如下的优化目标

402 Payment Required

主要方法

前向启发算法

直接优化全局最优目标面临着搜索空间过大的问题。而A算法可以被用来解决这个搜索问题。A算法是一个最优优先的搜索算法,可以解决这样形式的搜索问题:

其中是迄今为止的分数,是对于未来分数的启发式估计。因此我们将优化目标修改为如下形式

同时,需要限制前向搜索的长度为,避免模型无限制地向前搜索

在前向生成的过程中有几种不同的方法。方法只生成一个序列,从开始,每次选择概率最大的Token

402 Payment Required

。 方法采用插值的思想,混合 方法和随机选择一个Token的概率分布。 方法从 开始进行 步的Beam Search,选择前 个概率最大的序列, 而 方法则是直接从 按照概率进行采样。

无限制生成

在无限制生成的场景下,使用的优化函数为

402 Payment Required

其中控制的是对未来估计的重视程度,类似于加权算法

受限制生成

在受限制生成任务上,作者们基于之前的工作NeuroLogic进行改进。首先我们简要介绍一下NeuroLogic方法。首先,将对生成文本的限制表示为合取范式

402 Payment Required

。其中每一个 表示一个限制条件, 。NeuroLogic的优化目标可以写为

402 Payment Required

其中远大于0,用来惩罚不满足的约束。在每一步搜索时,NeuroLogic利用如下的打分函数进行计算

其中是约束条件的前缀,这个优化函数的目标是奖励那些满足约束条件的样本。接下来,作者们加入了前向启发函数

402 Payment Required

402 Payment Required

这样的前向启发函数有两个好处,如果是满足多Token约束的一个Token,前向启发函数包含了全部约束的分数,如果不是约束的一部分,如果被选中,这一前向策略能考虑到未来约束的分数。

实验结果

无限制生成

98eb3a7648234aa8180b6ebaa7ddded4.png作者们在故事生成任务上开展了实验,可以发现提出的方法不论是在流畅性,丰富性还是人工评估上都有着很好的表现。

受限制生成

在受限制生成方面,作者们在常识生成,机器翻译,表格到文本生成,问题生成等任务上开展了实验。在这里展示常识生成方面的结果。这一任务的主要内容是给定一系列概念,利用全部概念生成一个合理的句子.959091fdbb151009a53b3f6c44f4cf57.png可以发现,作者们提出的方法在多个指标上都明显超越了基线模型,取得了很好的效果。e81bed7f44b03ee2f6764a5fb5106d2c.png从文章中给出的例子来看,作者们提出的方法确实有着更好的生成效果。

结语

本文的方法实现并不复杂,所用到的原理和思想也是非常经典的人工智能算法,但却取得了非常不错的性能,一举摘得了NAACL2022的最佳方法论文。看来,好的研究并不是追逐热点,调参魔改结构的增量式创新,而是打好数学基础,深入地思考研究问题,广泛接触各个领域的算法,才能在发现领域的关键待解决问题时取得成果~


📝论文解读投稿,让你的文章被更多不同背景、不同方向的人看到,不被石沉大海,或许还能增加不少引用的呦~ 投稿加下面微信备注“投稿”即可。

最近文章

EMNLP 2022 和 COLING 2022,投哪个会议比较好?

一种全新易用的基于Word-Word关系的NER统一模型

阿里+北大 | 在梯度上做简单mask竟有如此的神奇效果

ACL'22 | 快手+中科院提出一种数据增强方法:Text Smoothing


下载一:中文版!学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套!  后台回复【五件套】
下载二:南大模式识别PPT  后台回复【南大模式识别】

投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。

方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

fe5d6bb3adaea612736710464ad43838.png

记得备注呦

整理不易,还望给个在看!
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值