NAACL最佳方法论文：课本上的A*搜索算法可以提升文本生成效果！

于 2022-07-29 12:05:14 发布
阅读量440 收藏
点赞数
文章标签： 算法 人工智能 python 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xixiaoyaoww/article/details/126066657
版权

26c381a8f083c6f0b1e69eceb1904f53.png

文 | Yimin_饭煲

相信大多数学习过人工智能课程的读者，当听到算法的时候，都会有一种既熟悉又陌生的感觉。说算法熟悉，是因为一听到这个算法，就想起那本厚厚的《人工智能——一种现代的方法》，想起这个算法似乎是人工智能课程考试的重点；说算法陌生，是因为大家现在在从事人工智能相关的研究和开发工作时，似乎又很少用到这个算法，大部分时间都花在了研究数据处理和处理实验设置上面。而在NAACL2022上，一群来自AI2的自然语言处理研究者们 利用算法开发了一种新的自然语言生成解码方式，还被授予了NAACL2022 Best New Method paper。看起来已经过时的A*算法，居然能在深度学习时代有如此的妙用，看完这篇论文，笔者情不自禁地打开了《人工智能——一种现代的方法》，想看看还有什么经典算法可以深挖一下！

论文标题:
NEUROLOGIC A*esque Decoding: Constrained Text Generation with Lookahead Heuristics

论文链接:
https://arxiv.org/pdf/2112.08726.pdf

问题背景

自然语言生成任务一般指给定一个输入序列，生成一个输出序列。目的是解出使得目标函数最大化的序列，其中, , 而衡量对约束条件的满足。传统的Beam Search不考虑全局的最优，而是最优化当前步骤添加的Token.

402 Payment Required

为了达到全局最优的效果，需要满足如下的优化目标

主要方法

前向启发算法

直接优化全局最优目标面临着搜索空间过大的问题。而A算法可以被用来解决这个搜索问题。A算法是一个最优优先的搜索算法，可以解决这样形式的搜索问题：

其中是迄今为止的分数，是对于未来分数的启发式估计。因此我们将优化目标修改为如下形式

同时，需要限制前向搜索的长度为，避免模型无限制地向前搜索

402 Payment Required

在前向生成的过程中有几种不同的方法。方法只生成一个序列，从开始，每次选择概率最大的Token 。方法采用插值的思想，混合方法和随机选择一个Token的概率分布。方法从开始进行步的Beam Search，选择前个概率最大的序列, 而方法则是直接从按照概率进行采样。

无限制生成

在无限制生成的场景下，使用的优化函数为

其中控制的是对未来估计的重视程度，类似于加权算法

受限制生成

在受限制生成任务上，作者们基于之前的工作NeuroLogic进行改进。首先我们简要介绍一下NeuroLogic方法。首先，将对生成文本的限制表示为合取范式。其中每一个表示一个限制条件，。NeuroLogic的优化目标可以写为

其中远大于0，用来惩罚不满足的约束。在每一步搜索时，NeuroLogic利用如下的打分函数进行计算

其中是约束条件的前缀，这个优化函数的目标是奖励那些满足约束条件的样本。接下来，作者们加入了前向启发函数

402 Payment Required

这样的前向启发函数有两个好处，如果是满足多Token约束的一个Token，前向启发函数包含了全部约束的分数，如果不是约束的一部分，如果被选中，这一前向策略能考虑到未来约束的分数。

实验结果

无限制生成

556fe19f087468c336fdc5394df345f6.png作者们在故事生成任务上开展了实验，可以发现提出的方法不论是在流畅性，丰富性还是人工评估上都有着很好的表现。

受限制生成

在受限制生成方面，作者们在常识生成，机器翻译，表格到文本生成，问题生成等任务上开展了实验。在这里展示常识生成方面的结果。这一任务的主要内容是给定一系列概念，利用全部概念生成一个合理的句子.f91e0fd33ca390040dc1af250e5d2818.png可以发现，作者们提出的方法在多个指标上都明显超越了基线模型，取得了很好的效果。7e969a2222477340d4a167b7a6ad307c.png从文章中给出的例子来看，作者们提出的方法确实有着更好的生成效果。

结语

本文的方法实现并不复杂，所用到的原理和思想也是非常经典的人工智能算法，但却取得了非常不错的性能，一举摘得了NAACL2022的最佳方法论文。看来，好的研究并不是追逐热点，调参魔改结构的增量式创新，而是打好数学基础，深入地思考研究问题，广泛接触各个领域的算法，才能在发现领域的关键待解决问题时取得成果~

0c800d025012aba3ddd0326bfda7d1ee.jpeg萌屋作者：Yimin_饭煲

在微软NLC组搬砖的联培博士生，爱好摄影和运动，希望卖萌屋早日开通视频业务，我来当摄影师！

作品推荐

  1. 学完文本知识，我就直接看懂图片了！

  2. 别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力

  3. 大模型炼丹无从下手？谷歌、OpenAI烧了几百万刀，总结出这些方法论…

4fb9ea9e37a52ad8075ed1f4eb7945c6.jpeg后台回复关键词【入群】

加入卖萌屋NLP、CV、搜推广与求职讨论群

夕小瑶
关注
博客
Meta VR硬件主管强势加入OpenAI，与苹果传奇设计师合作开发新AI设备
11-05 266
OpenAI要进军AI消费类硬件了？在LinkedIn上，Kalinowski称，在新角色中，她将首先专注于OpenAI的机器人工作和合作伙伴关系，以帮助将人工智能带入物理世界并释放其为人类带来的好处。这并不是夸大其词。作为硬件高管，Kalinowski的履历格外亮眼。从2013年2月到2022年3月，Kalinowski领导了Meta的VR护目镜的硬件团队九年时间。从2022年3月开始，Kalinowski又开始领导Meta的AR眼镜团队，并且负责监督Orion的创建。
博客
比ChatGPT更牛！苹果新AI模型刷新交互体验！能看懂你的手机屏幕！平板和安卓机也都行
11-05 913
Ferret-UI 2改善了跨不同平台的用户界面（UI）理解和交互，支持多平台，具有高分辨率图像编码和自适应网格化功能，并且改进了数据生成。大语言模型在人机交互中的体验优化确实是非常重要的！随着技术的不断进步,人工智能系统正在朝着更加智能、自然和无缝的交互方向发展。现代应用程序已经扩展到多模态交互,包括视觉和语音识别,使用户界面能够更全面地理解用户的多维度需求。
博客
谷歌CEO劈柴吹了个牛，被自家员工“反诈”
11-04 723
我之前提过，如果一个使用Copilot等工具的8人团队的效率，等同于一个10人的团队，那么我认为说“AI替代了2个工程师”是合理的。注意“削减成本”（做得更少，以降低成本）和“提高效率”（做同样的事情，但成本更低）之间的区别。底下的一位曾在RPA工作的网友评论称：现在这个环境下，即使真的有公司实现了“AI取代人力”，他们也不敢直接公开声称，这可能引起政客的错误关注和公众的恐慌。这篇帖子下面，第二位员工发言的“没有人敢说我们用AI取代了X%的人力”内容，又激起了人们关于“AI是否会导致人下岗”的讨论。
博客
谷歌被俄罗斯罚款2,500,000,000,000,000,000,000,000,000,000,000,000美元
11-01 661
小鹿还查了下，在过去，对科技巨头的罚款通常是按公司年收入的百分比征收的。例如，同样心比较狠的欧盟对违反法规的公司通常征收最高为年营业额10%的罚款。欧盟以罚的狠出名了。。俄罗斯罚谷歌这个金额真的是让人长见识了！小鹿真的很期待后续的发展，已经搬好小板凳等着了！到底是谷歌给不起罚款认栽而停止对俄罗斯制裁的种种小动作，还是真给出这么多钱啊。
博客
Copilot放大招！接入Claude和Gemini，Cursor地位不保？
10-31 558
最初，GitHub选用的是OpenAI GPT-3的微调版本，逐步升级至最新的GPT-4模型。去年，GitHub推出了Copilot Chat，为了满足不同的延迟和质量需求，Copilot的基础模型经历了迭代，采用了包括GPT 3.5-turbo、GPT 4o以及4o-mini在内的多个版本。o1-preview和o1-mini：更强的推理能力，在GitHub的对比测试中，o1-preview模型能够更深入地理解代码的约束条件和边缘情况，生成的代码结果在质量和效率上都更为出色。Github，你这是在害我！
博客
大模型训练成本降一半！厦大和vivo联合推出预训练新策略，给LLM降本增效
10-31 725
第一阶段的大学习率和第二阶段完整的学习率衰减过程对CPT的性能尤为重要。CPT无法兼顾不同版本LLMs的性能。完整的学习率衰减过程能确保当前版本的LLMs的最优性能，但后续版本的LLMs则需要以大学习率训练提供的初始化checkpoint，这是CPT无法同时满足的。上图分别展示了PTFS、CPT和我们提出的范式应用于Cosine学习率调度策略的学习率曲线。特别地，我们的范式也适用于其它学习率调度策略，如Knee和Multi-Step等。
博客
OpenAI放弃自制AI芯片！伦敦场开发者日Hugging Face工程师现场“拷问”Sam Altman
10-31 788
夕小瑶科技说 原创作者 | 小鹿OpenAI 2024年开发者大会第二场（伦敦场）刚结束。10月初在旧金山举办了第一场，但这次没有像上一场放出很多花活，这次开始走剧透局了！现场的OpenAI 产品主管 曝光了 GPT o1即将更新的功能：Function calling（函数调用）Developer messages（开发者messages）Streaming（流式传输）Structured outputs（结构化输出）Image understanding（图像理解）
博客
冲出“包围圈”，阶跃星辰登顶国内多模态理解大模型榜首
10-25 314
今年 3 月份，阶跃星辰正式亮相时就一口气发布了三款大模型产品：综合性能超过 GPT-3.5 的千亿参数大模型 Step-1，千亿参数的多模态模型 Step-1V 和国内首款万亿参数模型语言大模型 Step-2 的预览版。除了自研应用，阶跃的 Step 系列模型正在获得越来越多开发者的选用，网红 AI 应用胃之书、国内首款 C 端 AI 电商应用物圆、AI 科研大模型专业社区 ReadPaper、AI心理陪伴应用林间聊愈室、面向胰腺癌肿瘤患者的智能 RAG 平台小胰宝等等都不约而同的选择阶跃星辰的大模型。
博客
0.11秒出图！OpenAI发布sCM模型，提速50倍，作者来自清华
10-24 500
此外，研究团队也指出，在未来的研究中，根据特定应用的需求，评估sCM的质量可能需要采用不同的方法。因此，sCM的研究团队提出改进扩散模型的训练模式，学习一个函数θ，将带噪声的图像映射到其在PF-ODE轨迹上的下一个时间步的更清晰版本。JVP 重新排列和 Flash Attention 的 JVP 计算：在Flash Attention风格的单次前向传递中高效地计算softmax自注意力及其JVP，显著减少了注意力层中JVP计算的GPU内存使用，提高了大规模模型训练的数值精度和效率。
博客
Character AI被起诉！14岁青少年自杀，AI陪伴何去何从
10-24 595
我认为，原事件中的AI，反而像是拯救孤独的良药。与这些AI机器人聊天，甚至可以没有压力的“社交”：我不用考虑哪句话说错了，我不用考虑对方会不会回复我，我不用考虑对方的心情，甚至我的几乎所有问题，对方都有办法解答。最近，美国佛罗里达州，一名14岁男孩Sewell Setzer的父母控告Character AI公司，声称孩子沉迷该公司的AI聊天机器人，最后走上了自杀的道路。他在日记中写道：“我非常喜欢呆在房间里，因为我开始与“这个世界”脱节，我也感到更加平静，更加与Daenerys亲近，甚至更爱她，也更快乐。
博客
最强小模型又易主！Mistral发布小部长Ministral 3B、8B，登基边缘计算之王！
10-17 516
研究团队发了下面忍者神龟的meme，说Mistral 7B发布才一年，但是就在今天，哪怕是最小的模型（小部长3B）就已经大多数基准上的性能已经超过了它：岁月不饶人啊，。。。不过，3B小部长的成功也揭示着，随着技术的进步，AI的"小而美"时代正在到来～
博客
OpenAI多智能体框架Swarm，被曝剽窃！20岁创始人指控OpenAI抄袭
10-14 505
业内人士指出Swarm框架的整体设计与其他开源多代理系统（Rasa 、Hugging Face Transformers）大致一样，没有自己创新的整体结构，其中部分代码的结构设计和实现方式与已开源的代码都有高度重合，框架从整体上看原创系不高。Swarms创始人Kye Gomez指控OpenAI不仅模仿起了名字，而且“借鉴”了代码和方法，从智能体结构的语法到群体类对象都是模仿的痕迹，但是OpenAI在官方博客中没有任何的引用。没错，你没有看错，名字非常的相似，OpenAI的是Swarm，这个是Swarms。
博客
马斯克又牛了！一双机械臂，夹住火箭！实现无限回收火箭
10-14 523
SpaceX称，对这个超重的助推火箭，已经实现了半厘米的控制精度——所以，助推火箭的回收尝试是时候提上日程了。所以，SpaceX设计了“筷子”机械臂系统Mechazilla，在火箭降落时，利用机械臂将其抓住，这样可以减少助推火箭落地时产生的压力。在接近发射塔时，火箭会启动3个发动机降速，并通过对火箭的控制，这个助推火箭虽然只高71米，但是它上面配备了多达33个猛禽发动机，能产生数千吨的推力，本身重量重的要命。昨天晚上，SpaceX的火星移民星舰，终于迎来了难得的第5次试飞，这次试飞最大胆的部分，就是。
博客
马斯克的Cybercab首秀！没有方向盘和踏板，26年量产，特斯拉这次又玩大的了
10-11 741
今年是特斯拉成立的第10周年，回顾10年前的2014年10月9日，搭载Mobileye EyeQ3的初代特斯拉Autopilot首次问世，开启了特斯拉时代。作为特斯拉成立10周年之际的发布会，虽然远远谈不上说失望，但是相较于之前马斯克给行业的惊喜，这次发布会公开的成果只能算是中规中矩吧～奶茶原本还以为能看到像变形金刚那样的车机器人呢！尽管如此，无人出租车的正式亮相还是相当振奋人心。让我想起了马斯克曾经提到的愿景：“让车辆在闲置时，通过共享为你赚钱。
博客
唯一答对“strawberry中有几个r”的开源项目，被我找到了！
10-10 1146
随着Open O1项目的进展，继续突破大语言模型的界限，不仅能实现类似OpenAI o1的CoT的性能，还能在测试时间扩展方面处于领先地位，使所有人都能使用先进的AI功能，最终，将Open O1变成人工智能进步的灯塔，造福所有人。该团队通过整理了OpenAI o1模型的CoT（思维链）数据，对Llama3.1-8b和Qwen2.5-7b模型进行训练，赋予了这两个小体量模型更强的长期推理和解决问题的能力。而且，只有7B和8B的参数，还是个小模型，基于LLama-8B和Qwen-7B进行的微调。
博客
哈佛大学俩学生开发出一种 AI 眼镜，看你一眼就能扒光所有个人信息
10-09 865
哈佛大学的两位学生开发的I-XRAY的项目，仿佛把科幻电影中的场景变成了现实！虽然这两位学生并未直接制造出风险，但他们的发明却无意中揭露了一个问题：在如今技术高度发达的时代，个人信息的获取变得异常便捷，同时也暴露了隐私保护的脆弱性。这样轻而易举就能创造出“一镜到底”的眼镜，那我们个人信息在互联网上暴露的程度到底是什么样啊。。。。。。
博客
活久见！2024年诺贝尔物理学奖颁给了AI大佬Hinton 和 Hopfield
10-08 628
在这样的时代背景下，Geoffrey Hinton 和 John Joseph Hopfield 获得诺贝尔奖的消息，不仅是对 Hinton 和 Hopfield 个人研究生涯的极大肯定，更是对整个人工智能领域研究价值的国际认可！从理论的深入到真实的日常应用的拓展、普及的过程，我们见证了科技发展的前所未有的崭新轨迹。霍普菲尔德提出的 Hopfield 网络引入了精确的二值神经元和能量函数的概念，描述了大脑中的神经元如何互动以形成记忆，是人类对大脑计算过程研究的开山之作！
博客
OpenAI 开发者大会！实时语音功能有API了，GPT-4o支持多模态微调，上下文cache功能上线
10-03 878
在车道计数的准确性上Grab实现了20%的提升，在限速标志的定位上提高了13%，这些成绩均超过了原始的GPT-4o模型。OpenAI还提出了一种用前沿、高级的模型的输出微调GPT-4o mini的模式，例如用o1-preview 和 GPT-4o 等高级模型的输出，微调GPT-4o mini这类的小模型，从而实现更高效模型的性能。在开发者大会上，OpenAI还宣布了要开放实时API的公测版，允许所有开发者在自己的应用程序中实现使用GPT的实时、低延时、多模态的功能。
博客
被Karpathy誉为“蕴藏着类似ChatGPT的机会的AI产品Notebook LM”，它到底做对了什么？
09-30 981
该平台重新定义了与LLM（大语言模型）的交互方式，用户现在可以轻松上传多种格式的资料，包括YouTube链接、音频文件、PDF文档、Google Docs、幻灯片以及网页等，并将这些内容直接集成到笔记本中。此外，用户还可以针对AI生成的内容提出问题，以获得更多详细信息。这种交互不仅要求对语言和意图有更深入的理解，包括对语境、情感和隐含意义的精准把握，还需要拓展到多模态交互，支持声音、图像乃至视频等多种输入和输出方式。，使用户能够直接聆听内容的总结，还可以将生成的播客分享给他人，增强信息的传播和交流。
博客
今天不止是A股疯，这家国产大模型也疯了！AI人：1亿小目标已实现
09-30 963
尤其是GLM-4-Plus的推理能力，实测非常强，你把它当做一个“入门版的o1”去用的话，不仅不会觉得拉胯，甚至会觉得。众所周知，o1在回答问题前的一顿思维链输出，对用户来说情绪价值是直接拉满了，像极了一个卖力干活的打工人。我测了下，果然这道题的难度非常大，我跑了下国内主流的ChatBot产品，发现大部分都翻车了。好家伙，就在别家把“入门款模型”朝着免费去卷的时候，智谱已经把自家的旗舰模型朝着免费开卷了。好家伙，这思维链也搞的太详细了，以至于思维链之后，好像没啥可讲的了。今天这篇文章不是讨论A股的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值