大模型免微调解锁对话能力，RLHF没必要了！一作上交大校友：节省大量成本和时间...

于 2023-12-06 12:39:15 发布
阅读量49 收藏
点赞数
文章标签： 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247708287&idx=3&sn=d00d75c4e698089efdab794ed3dc6818&chksm=e9628d1dfcf49933b64ce8519518f79f6fcc59fa7703277ae0459a66c128091c5dddea0c3f67&scene=126&sessionid=0
版权
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

要搞大模型AI助手，像ChatGPT一样对齐微调已经是行业标准做法，通常分为SFT+RLHF两步走。

来自艾伦研究所的新研究却发现，这两步都不是必要的？？？

96369c62628eb0ae94865c5027a52284.png

新论文指出，预训练完成刚出炉的基础模型已经掌握了遵循指令的能力，只需要提示工程就能引导出来，引起开发社区强烈关注。

因为RLHF的成本非常高训练还不稳定，这样可就省了大钱了。

46057f7fd9092af6e822ab1c941eb21e.png

研究据此提出一种新的免微调对齐法URIAL。

论文中把新方法形容为“解锁基础模型潜力的咒语”，能够节省大量算力资源和时间。

更值得关注的是，不掌握稳定RLHF（人类强化学习）能力的小型团队，也能低成本开发出可以聊天对话、遵循指令的对齐模型了。

8ee9740ac72f323dc4879a097c2c5f42.png

目前URIAL代码和新评估基准Just-Eval-Instruct已开源，刚刚上传不久。

1c5d07554168026b507e3780cb5970d2.png

研究来自艾伦研究所和华盛顿大学Yejin Choi团队，过去曾提出Top_p采样，在如今大模型API调用中是常用参数。

b75d2cc40cb987e711a7f1138f8488d9.png

一作研究员林禹辰是上交大校友。

0b21a230a4ee338396d42b8f37a56f14.png

打破SFT+RLHF神话

最早让人们开始质疑对齐微调的，是一项Meta等在5月份一项研究LIMA。

LIMA指出只需要1000个样本做SFT（监督微调），就可以匹配ChatGPT的性能。

c90a1ac8b429454272994bfba1118c81.png

论文中LIMA团队还探讨了“表面对齐假设”（Superficial Alignment Hypothesis）：

模型的知识和能力几乎都是在预训练阶段学到的，对齐则是教会模型在与用户互动时应使用哪些特定格式的子集。

换句话说，对齐阶段只是调整模型的语言风格，没有增强模型的能力。

从表面对齐假设出发，URIAL团队做了充分的实验，对比基础模型和对齐模型之间的token分布偏移（TDS，token distribution shifts）。

cdcbd3bf194a0197f2ae445e24e12e22.png

实验选用3组基础模型与对齐模型做对比，结果表明：

822998f72c2c4f5c02c9a68e92d42f7d.png

  • 对齐仅影响一小部分token。基础模型和对齐模型在大多数位置的解码中表现相同，共享排名靠前的一组token。

  • 对齐主要涉及文风相关的token，如话语标志（discourse markers，“首先、其次、总之、然而……”这些）、过渡词和安全免责声明，只占5-8%。‍

  • 对齐对较早出现的token更重要（生成内容的开头），在后续位置对齐模型排名最高的token，基本位于基本模型排top-5的token之内。

  • 基础模型已经获得了足够的知识来遵循指令，给定合适的上下文作为前缀时，它们的行为与对齐模型非常相似。

ac11ef9376c136d7bec69d768112332d.png

接下来的问题就是，不用SFT和RLHF的情况下，如何把一个基础模型变成能多轮对话、遵循指令的AI助手？

免微调对齐法URIAL

团队的免微调对齐法URIAL（Untuned LLMs with Restyled In-context ALignment），纯粹利用基础模型的上下文学习能力实现有效对齐，只需三个风格示例和一个系统提示。

6a41f9c0f7d70c9d806ac66d947e882a.png

在实验中，团队使用URIAL方法对齐7B、70B的Llama2以及Mistral-7B大模型。

8825ed2dcc0b16ae57b5c70c1d3669ca.png

结果表明当基础模型很强时，URIAL的表现甚至优于SFT和RLHF。

8fab769926e030bc2678abfdb088b7c9.png

团队认为URIAL方法的主要贡献有：

  • 实施起来非常简单，并且可完美重现，从而有助于未来新的免微调和微调对齐方法的开发和评估。

  • 可轻松对齐大尺寸模型（如Llama2-70b甚至Falcon-180b），节省大量算力和时间。

  • 可用于在预训练过程中频繁评估基础模型，监控基础模型的质量。

  • 可用于公平比较不同基础模型之间的对齐潜力。过去不同模型的微调过程可能差异很大（例如数据、训练方法、超参数等），不能直接反映基础模型的质量。

  • 还可用于探索大模型对齐的科学，例如分析基础模型在预训练期间已经获得的知识和技能，识别缺失的内容，而不是盲目地利用大量数据进行微调，从而产生不必要的计算成本。

66bdf3a97ee4f86481b82ea84ac9921a.png

实验也探索了URIAL中示例的不同数量，如果提高到8个，一些指标中有明显提升，但一些指标中也有下降，最终作者推荐用3个比较平衡。

9675da91313e02c1319dee3c2faece43.png

对于改用不同的示例也比较稳健。

5be6166742ebe2606d417c9d23b51156.png

如果把之前对话作为示例的一部分，URIAL也可以让基础模型获得多轮对话的能力。

46d944ad385bb923083ed46938a5a977.png

One More Thing

论文中实验的Llama-2和Mistral，其实总体来说都属于羊驼家族。

URIAL免微调对齐法是否用于羊驼架构之外的大模型？

由于不是羊驼的开源大模型不好找，我们试了试刚刚发布的Transformer挑战者，Mamba架构基础模型。

Mamba是一种状态空间模型，别说不是羊驼了，连Transformer都不是。

使用论文附录提供的一份URIAL标准提示词，简单测试发现同样适用。

ad341f655e9795c97b78790d46779e5f.png

使用URIAL询问“你能用6岁小朋友也能听懂的方式解释什么是状态空间模型吗？”。

Mamba将数学定义的状态比喻成了车在路上的位置，比较简单易懂，甚至给出markdown格式的图片链接，试图图文并茂回答问题。

9ac099222d132929596977455eac30d9.png

如果不使用URIAL直接输入这个问题，Mamba的表现就是基础模型那样补全下文而不是回答问题了，解释的内容也是车轱辘话来回说。

7162dc9c6d7812821ee30f83bf5e7abd.png

论文：
https://allenai.github.io/re-align/

参考链接：
[1]https://twitter.com/IntuitMachine/status/1732089266883141856
[2]https://arxiv.org/abs/2305.11206

— 完 —

点这里👇关注我，记得标星哦～

QbitAl
关注
博客
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
06-10 8
而选取过小的步长，对于模型最终的效果影响也会较小。不是关键：因为以往的re-weighting工作会控制整体的训练数据量，研究团队将对比的方法DoReMi和DOGE，都提升了整体的数据量到IDEAL对应的数量，但实验结果证明，提升数据量而没有改变数据混合分布，对于模型的提升效果甚微。一般随机初始的训练集分布都是有进一步优化的空间：文章中，无论在在四个领域四个benchmark，还是5个领域8个benchmark上，无论初始分布是各个领域是数量相等的或者不等的分布上，IDEAL都实现了对于平均结果的提升。
博客
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
06-10 8
具体而言，MiniCPM4与Qwen3具有相当的性能，而Qwen3使用了36T词元进行训练，而MiniCPM4仅使用了8T词元，只有Qwen3训练数据量的22%，这充分验证了Ultra-FineWeb数据筛选与Model Wind Tunnel v2训练优化策略的有效性。为了能够实现极致的推理加速，在MiniCPM4中，团队构建了稀疏注意力机制 InfLLM v2，使用了投机采样算法 FR-Spec，提出了前缀敏感的量化算法，并搭建了自研的推理框架，从而实现在端侧芯片上的极致提速。
博客
不是视频模型“学习”慢，而是LLM走捷径｜18万引大牛Sergey Levine
06-10 9
甚至从数据上来说，视频数据比文本数据包含的信息更丰富，那么预测下一帧得到的认知会远比预测下一词得到的认知更全面。对此，有评论者提出：视觉、语言、行动系统就像独立的洞穴，如果能够通过共享结构建立桥梁，可能就不需要逃离“洞穴”，AI通过语言模型学习人类的知识和思维方式，但这些知识就像洞穴墙壁上的影子，是人类智慧的间接反映。“柏拉图洞穴”原本的故事是指一群人被绑在洞穴里，只能看到墙壁上的影子，不能看到洞穴外的阳光。比如，一个飞往宇宙探索的机器人，在那里没有人能提供文本，但是它仍然能获取丰富的视频数据。
博客
北大伯克利联手“拷问”大模型：最强Agent也才40分！新基准专治“不听话”的AI分析师
06-10 179
固守首次尝试：一些Agent在初期会做出一个简单粗暴的尝试（比如在预测任务中，模型在初期会直接用训练集的中位数作为预测值），然后就“固执己见”，在后续交互中不再根据新指令开发更复杂的模型。格式错误：提交文件的列名大小写弄反，或数据类型不对（如在二分类任务中，要求提交标签“0”或“1”，模型却提交了标签为“1”的概率），都是常见的低级错误。这些决策充满了基于领域知识的“主观性”，指令也是一步步演进的。Agent：即被测试的大模型，它的任务是严格遵循“用户”的指令，通过编写和执行代码来完成任务。
博客
华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断
06-10 299
而且，华为团队还打造出Step级重调度能力，以前遇到频繁的 HBM 多比特 ECC 故障，修复可能要花很长时间，现在1分钟内就能搞定，用户因为故障损失的算力也减少了5%，实实在在地省下了不少 “计算力”。总结来看，针对AI算力集群的高可用性，华为团队创新性提出了“3+3”双维度技术体系，即故障感知诊断、故障管理、集群光链路容错等三大基础能力，以及集群线性度、训练快恢、推理快恢等三大业务支撑能力。大模型的落地能力，核心在于性能的稳定输出，而性能稳定的底层支撑，是强大的算力集群。
博客
SOTA级视频编辑新方法：无需训练一句话编辑视频，背景保持100%
06-10 7
这种直接演化范式带来的第二个问题是，由于跳过了反演过程，原始视频的控制信号会在编辑的整个流程均显著存在，往往会对最终效果施加过强的“控制效果”，导致修改后的视频中依然残留明显的原始物体轮廓或细节伪影。总体而言，FlowDirector展示了视频编辑的新思路：无需反演的直接流编辑，并引入了空间矫正和自动引导，显著提升了编辑视频的质量，实现了快、准、省的三重跃升。的演化路径，但这种直接演化范式并非完美无瑕，直接编辑路径产生的编辑流作用于全视频特征，会导致无关区域发生意外变化，严重影响编辑视频的保真度。
博客
英伟达港大联手革新视觉注意力机制！GSPN高分辨率生成加速超84倍
06-10 10
需要注意的是，GSPN本身是一个独立的注意力机制层，可以非常灵活的用在任何视觉网络中。通过共享1×1卷积进行降维，再通过三个独立的1×1卷积生成依赖于输入的参数，用于二维线性传播，这些投影和传播封装在模块化的GSPN单元中。采用Swin-Transformer的四级分层架构，通过堆叠设计良好的GSPN块，在相邻层级间进行下采样操作，平衡计算效率和表示能力。此外，GSPN引入了一个可学习的合并器，用于聚合来自所有扫描方向的空间信息，增强了模型动态适应视觉数据二维结构的能力。下面的示意图给出了肯定答案。
博客
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
06-10 7
RaML从优化角度分析了这些令牌的特殊之处：团队统计了一些典型的“反思”令牌对于大模型输出正确答案的置信度的影响，实验结果发现这些令牌会引起模型置信度的显著变化，这意味着这些令牌有助于模型跳出鞍点区域，从而提升推理性能。因此，对于规模相对较小的模型，SFT的收益更大，因为它提供了“正确答案的路径”，相当于给模型一个“最优梯度”的指导，能够迅速提升其“学习如何思考”的能力。这一初步尝试意味着，未来可以通过某种更有效的方法，从长推理轨迹中提取出更高效的短推理轨迹，从而在后训练阶段降低长推理模型的解码开销。
博客
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
06-10 11
此外，研究人员认为SSA这一现象的出现，是由于在推理模型的对齐训练过程中广泛使用了安全相关数据，这些数据可能与开源基准数据集中的样本表现出一定程度的相似性。研究人员对保留的有风险和无风险的指令进行了人工标注：为有风险的指令编写了其有风险的原因。此前OpenAI和Anthropic的研究，都已经证明将明确的安全规则纳入大模型的输入中，可以显著提升其回复的安全性。的场景下的实验显示，面对包含多种风险类型的指令时，LRMs通常只关注其中一个突出的风险，而忽略了其他并存的风险。， SSA造成了一种虚假的安全感；
博客
强化学习之父：LLM主导只是暂时，扩展计算才是正解
06-10 6
AlphaGo在与李世石对弈的第二局中，下出的神之一手——第37手，在人类标准下完全非常规的走法，就充分展现了AI在这种体验学习下的思考潜力。这就类似于人类社会中的经济运转，得益于自然语言和货币的发明，尽管人们拥有不同的目标和能力，但在过程中相互协调配合，也能产生出不错的效果。Sutton认为这种声音更多的是来源于对未知的恐惧，要接受个体目标的多样性，建立合作化秩序，AI的潜力恰恰就在去中心化合作。也就是说，AI将会在自主体验中，完成自己的更新迭代，产生更高级的数据并反哺自身，构成一个“越学越强”的循环。
博客
李飞飞自曝详细创业经历：五年前因眼睛受伤，坚定要做世界模型
06-09 28
但摘下眼罩后，大脑瞬间重构三维空间的能力让我们能精准抓取杯子、避开障碍，这种对物理世界的即时建模才是智能的根基。当年她带领团队开发了一个名为ImageNet的视觉识别系统，这个系统收录了超过1000万张经过精确标注的图片，迅速成为全球规模最大的图像资料库之一，以此彻底改变了计算机视觉和深度学习的研究格局。李飞飞坚信，唯有将最聪明的大脑聚集在“世界模型”这个北极星问题下，才能实现从实验室技术到产品化的跨越。换句话说，语言适合传递抽象概念，但应对实体世界必须依赖空间智能，这正是当前AI最欠缺的能力。
博客
首创像素空间推理，7B模型领先GPT-4o，让VLM能像人类一样「眼脑并用」
06-09 22
然而，当前主流VLM仍被困在「文本茧房」中——依赖文本token间接翻译视觉信息，在高清图像中的微小物体、视频里的动态细节等场景中，常常因缺乏直接视觉操作能力而「视而不见」。值得注意的是，仅7B参数的Pixel-Reasoner，性能全面超越27B的Gemma3等开源模型，甚至媲美部分闭源商业模型，展现出「小模型大能力」的高效特性。当视觉与语言双轨并行，多模态模型才能真正理解世界的复杂性。这种「眼脑协同」的推理模式，打破了文本对视觉语义的「翻译牢笼」，让模型真正具备了与人类视觉认知同构的推理能力。
博客
大模型能够自发形成“人类思维地图”！Nature子刊重磅研究揭示多模态大模型类脑机制
06-09 91
正如论文通讯作者何晖光研究员所说：“这项工作不仅是在测试AI的能力，更是在寻找人与机器之间共通的认知语言，探测AI模型的“概念地图”只是第一步，未来需要建立涵盖推理、情感等维度的完整认知评估体系。令人惊讶的是，纯文本训练的ChatGPT-3.5与多模态Gemini模型均展现出稳定的低维表征结构，其预测人类行为选择的准确度分别达到噪声上限的87.1%和85.9%。这部分人将LLM称为“随机鹦鹉”。值得注意的是，模型表现出与人类一致的“生物/非生物”“人造/自然”分类边界，印证了认知神经科学的经典发现。
博客
AI七个月突破数学家“围剿”反超人类！14位数学家深挖原始推理token：不靠死记硬背靠直觉
06-09 27
举个例子，在一道题中，数学家们发现o3-mini-high通过非正式推理得出了一个正确猜想，但它并没有去证明这个猜想，还直接把这个猜想拿来解决问题了。也就是说，o3-mini-high往往不会像数学家们一样，对数学问题进行形式化的、严谨的论证，而是跳过一大串步骤直接猜测最终答案。具体来说，在29条推理记录中，有13次o3-mini-high得到了正确的结论，剩下的16条则导向了失败的结果。在大概三分之二的问题上，o3-mini-high在相关数学文献调用方面，都取得了至少3分（满分5分）的成绩。
博客
谷歌Veo 3玩法大升级！“360°”关键词解锁3D效果，Fast版同分辨率价格暴降5倍
06-09 19
一位女士坐在繁忙的餐厅里，她说：我是用Veo 3 Fast在Google Flow上制作的，有音频但更便宜，分辨率相同，很有道理，看起来相当不错。该产品目前只支持文生视频，且暂时还没有发布公告，也没有推出API，但该模型可以通过Google Flow的PRO访问。就像这位网友说的，在相机来回移动时，视频中的物体仍然能保持在相同的位置是最酷的。再来看看这个石林场景，不仅有3D环绕的效果，甚至可以放大或缩小画面：。，也就是说，在Ultra订阅方案下，Fast版本可生成多达。
博客
太逼真！豆包·播客模型来了：一句话生成「苏超联赛」播客，很懂13太保的梗
06-09 542
为了营造出逼真的双人对谈感觉，团队对大量播客内容进行了细致的体验拆解，分析真人对话的节奏、自然度、信息密度以及口语化表现等维度，并找了专业的播客内容创作者进行充分碰撞和优化，在后续数据生产、模型效果、评测标准上进行了细致打磨。总而言之，火山引擎在AI语音上的发力，尤其是豆包·播客模型，不仅仅是增添了AI新玩法，更是可以更高效、更个性化的通过“听”获取信息，同时把音频创作这件事的门槛再次打了下去。背后的技术，是基于端到端的实时语音交互模型进行的场景拓展，具备强大的文本理解与高表现力语音生成能力。
博客
AI集体“听不懂”！MMAR基准测试揭示音频大模型巨大短板
06-09 31
此外，整数智能数据工程平台提供了专业的支持，平台的多轮审核机制和协同标注功能为数据质量提供了强有力的保障。例如，Audio-Reasoner的表现优于Qwen2-Audio和Qwen2-Audio-Instruct，而音频摘要+ DeepSeek-R1 的表现优于音频摘要+ DeepSeek-V3。在这段音频中，被理发的人用英语反复强调自己想要的理发效果，另一个人将其翻译成中文来帮助他强调，这说明理发师不能听懂英文，需要旁人翻译为中文。更令人惊讶的是，在音乐相关的任务中，几乎所有模型都“掉了链子”。
博客
给大模型装上「思维分段引擎」：浙大InftyThink解锁无限深度推理
06-09 54
在不同架构和规模的基座模型上展现出一致稳定的提升，研究团队在Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B和Meta-Llama-3.1-8B上的实验结果呈现了高度一致的性能提升表现，证明了所提出方法的广泛适用性和鲁棒性。通过多次迭代式的短推理，显著降低了推理的计算复杂度，提高了模型生成的吞吐量，例如在Qwen2.5-Math-7B基座模型训练后，相对传统的推理范式，模型生成吞吐从。
博客
双重突破：全球首个零售VLA大模型来了！开源OpenWBT让机器人遥操门槛暴降！
06-09 35
展望未来，银河通用将继续秉持技术创新与开放合作并重的发展理念，引领人形机器人从“实验室探索”迈向“广泛应用”，实现机器人真正“工作起来”，深化具身大模型技术与产业协作的融合应用，推动更多行业场景智能化升级，助力构建更加智能、高效、可持续的未来社会。在智源大会主展区，银河通用展示了两台“性格”迥异的具身大模型Galbot“迎宾机器人”和“售货机器人”，凭借鲜明互动风格与真实应用能力，吸引了大量观众驻足围观，成为全场最受关注的技术展区之一。其稳定、高效的表现，迅速引发现场学术专家、行业人士与媒体的围观与热议。
博客
奥特曼ChatGPT用法错了！最新研究：要求“直接回答”降低准确率，思维链提示作用也在下降
06-09 23
结合开头作者打脸奥特曼的推文，可以看到模型依然是在“会思考”的时候表现最好，但是最前沿的模型当中，推理模型本就已经内置推理过程，一些非推理模型内置提示也包含了CoT相关内容，这种“思考”不再需要通过额外增加提示来实现。结果就是对于推理模型，CoT的作用十分有限，比如对于o3-mini，CoT带来的准确率提升只有4.1%，但时间却增加了80%。但相比之下，消耗的时间却是大幅增长，o4-mini大概涨了20%，o3-mini的涨幅更是超过了80%。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值