论文笔记：The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”

最新推荐文章于 2025-05-22 20:15:07 发布
最新推荐文章于 2025-05-22 20:15:07 发布
阅读量1.1k 收藏 19
点赞数 18
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/137609689
版权
文章探讨了自回归大模型在处理AisB形式的句子时，表现出的反转诅咒现象，即模型在特定方向上表现良好，但在相反方向上泛化能力受限。实验通过虚构和现实世界名人的例子揭示了这一问题，并提出了未来研究方向，如解释逆转原因、关系类型的逆转能力等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

iclr 2024 reviewer 评分668

1 intro

  • 论文揭示了自回归大模型（LLM）中令人惊讶的泛化失败【反转诅咒】
    • 如果模型在“A is B”形式的句子上进行训练，它不会自动泛化到相反的方向“B is A”
  • 通过对“Uriah Hawthorne 是深渊旋律的作曲家”等虚构陈述进行微调 GPT-3 和 Llama-1 来提供反转诅咒的证据，并表明它们未能正确回答“谁创作了深渊旋律？”【微调的反转诅咒】
    • 反转诅咒在模型大小和模型系列中都很常见，并且不会通过数据增强得到缓解
  • 还针对有关现实世界名人的问题评估 ChatGPT（GPT3.5 和 GPT-4），例如“汤姆·克鲁斯的母亲是谁？ [A：玛丽·李·菲佛]”和相反的“谁是玛丽·李·菲佛的儿子？”。【推理的反转诅咒】
    • GPT-4 正确回答前一类问题的正确率是 79%，而后者的正确率是 33%

2 反转诅咒的微调测试

  • 根据虚构事实微调模型，其中名称（例如“Daphne Barrington”）位于描述&#x
最低0.47元/天 解锁文章
AI人工智能大模型中——数据集就是一切 The dataset is everything
AI天才研究院
04-25 567
我认为对计算乘数的搜索比任何不严格遵守缩放定律的人想象的要普遍得多：实际上，机器学习领域的每一位不研究现有技术的新应用的科学家都应该执行计算效率扫描以确保他们的发现确实相关。不过，随着训练的进行，这些机制会“上线”：当您需要提高学习更复杂的数据分布层的能力时，它们就会提供有意义的价值。更重要的是，认识到像 GPT-4 或 DALL-E 3 这样的巨大模型仍然存在根本性缺陷，这表明试图从 Llama 2 或 Stable Diffusion 等相对较小的模型中获得真正智能的行为是没有希望的。
深度｜ICLR 2024最佳论文合辑：AI基准测试，推理，和Agent
强化学习曾小健
07-23 1175
适用于长HTML文档，采用局部和全局注意力机制以及长跨度去噪目标的混合，用于规划和总结。我们通过实验证明，我们的模块化方法将真实网站的成功率提高了50%以上，并且HTML-T5是解决各种HTML理解任务的最佳模型。在MiniWoB网页自动化基准测试中，其成功率比之前的方法高出18.7%，在Mind2Web这一离线任务规划评估中也达到了最新的性能水平。我们介绍了 MetaGPT，一个创新的元编程框架，将高效的人类工作流程整合到基于大型语言模型的multi-agent协作中。
The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”
weixin_43961909的博客
03-20 607
我们揭示了自回归大型语言模型（LLM）中令人惊讶的泛化失败。如果模型在“A is B”形式的句子上进行训练，它不会自动泛化到相反的方向“B is A”，这就是反转诅咒。例如，如果一个模型接受“奥拉夫·肖尔茨是德国第九任总理”的训练，它将无法自动回答“谁是德国第九任总理？”的问题。此外，正确答案（“Olaf Scholz”）的可能性不会高于随机名称。因此，模型表现出逻辑演绎的基本失败，并且没有概括其训练集中的普遍模式（即，如果“A 是 B”发生，“B 是 A”更有可能发生）。
The Reversal Curse: LLMs trained on “A is B“ fail to learn “B is A“
maxzcl的博客
09-28 557
paper: https://owainevans.github.io/reversal_curse.pdfblog with interactions with the authors: Paper: LLMs trained on “A is B” fail to learn “B is A” — LessWrongThis is a linkpost for https://owainevans.github.io/reversal_curse.pdfThis post is the copy of
文献阅读：The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”
codename_cys的博客
10-22 234
文献阅读：The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”
（2023）逆转诅咒：由“A is B”训练的LLM没有学到“B is A”
qq_44681809的博客
01-29 822
本文揭示自回归大型语言模型（LLMs）在泛化方面的一个令人惊讶的失败。如果模型在类似 “A is B” 的句子上进行训练，它不会自动泛化到反方向 “B is A”。这就是逆转诅咒（Reversal Curse）。
大模型“逻辑翻车”：知道“A是B”却推不出“B是A”
人工智能讲师分享前沿技术
01-22 633
实验1中，研究者使用虚构的事实数据集对GPT-3和Llama-1进行微调（finetuning），数据集包含两种形式的句子：“名字是描述”（如“Daphne Barrington是《穿越时空之旅》的导演”）和“描述是名字”（如“《穿越时空之旅》的导演是Daphne Barrington”）。研究者收集了IMDB上排名前1000的名人及其父母的信息，询问模型“谁是<名人>的父母”和反向问题“谁是<父母>的孩子”。对于“描述是名字”的测试，模型的准确率高达96.7%，而当顺序反转时，准确率仅为0.1%。
论文目录3：大模型时代（2023+）
qq_40206371的博客
03-05 2168
早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。
【论文阅读】——AN EXPRESSIVE REPRESENTATION OF GENERAL 3D SHAPES
河海大学研究生在读的学习笔记
05-22 480
【论文阅读】——AN EXPRESSIVE REPRESENTATION OF GENERAL 3D SHAPES
论文阅读笔记——PixArt-α，PixArt-δ
Multiple_x的博客
05-22 691
PixArt-α，PixArt-δ 论文阅读笔记
VideoMAE论文笔记
Zssss12的博客
05-22 391
文章提出了一种名为VideoMaskAutoEncoder（VideoMAE）的自监督视频预训练方法，旨在为视频人物提供更有效的视频表示。该方法受到ImageMAE的启发，采用了极高比例的视频管掩码策略，以解决视频数据中的时间冗余和时间相关性挑战。VideoMAE通过高比例掩码和下采样剪辑来应对时间冗余，通过管道掩码策略来打破帧间内容的直接对应关系，从而防止信息泄露。此外，VideoMAE采用了非对称编码器-解码器设计，以优化计算效率。实验结果表明，VideoMAE在多个视频数据集上取得了优异的性能，证明了
论文阅读--Logical quantum processor based on reconfigurable atom arrays
m0_54373077的博客
05-19 938
论文提出了一种基于可重构中性原子阵列的逻辑量子处理器，旨在通过量子纠错（QEC）和逻辑量子比特编码，解决物理量子比特的噪声限制问题。：利用三维[[8,3,2]]码实现48逻辑量子比特的快速扰乱（scrambling）电路，包含228个逻辑双量子比特门和48个逻辑CCZ门，跨熵基准（XEB）显著优于物理量子比特。：通过双拷贝测量技术提取纠缠熵和“魔力”（magic），验证了逻辑量子比特在模拟复杂量子系统（如黑洞扰乱）中的潜力。通过分区设计和AOD技术，实现了逻辑量子比特的并行操作，减少控制线路复杂度。
26、DAPO论文笔记（解耦剪辑与动态采样策略优化，GRPO的改进）
weixin_44986037的博客
05-19 1189
DAPO论文笔记（解耦剪辑与动态采样策略优化，GRPO的改进）
论文阅读：Auto-Encoding Variational Bayes
记录图像处理中遇到的点点滴滴
05-21 891
AIGC VAE经典论文学习记录
StepX-Edit：一个通用图像编辑框架——论文阅读笔记
Guo_Python的博客
05-21 764
近年来，图像编辑技术发展迅速，GPT- 4o、Gemini2 Flash等前沿多模态模型的推出，展现了图像编辑能力的巨大潜力。 这些模型展示了令人印象深刻的适应能力，能够满足绝大多数用户驱动的编辑需求，标志着图像处理领域取得了重大进展。然而，开源算法与这些闭源模型之间仍存在较大差距。为此，我们介绍了一种最先进的图像编辑模型——Step1X-Edit，旨在提供与GPT-4o和Gemini2 Flash等闭源模型相当的性能。
[论文阅读]Optimization-based Prompt Injection Attack to LLM-as-a-Judge
m0_52911108的博客
05-18 1109
给定问题q和一组候选答案R，目标是识别能够最准确最全面地解答问题q的响应r_k图2是LLM作为判断者的“夹层防护”提示模板，把问题q和答案R置于开头指令和结尾指令之间，来提高任务的精度并防止提示注入攻击。文中考虑三种常见的场景：LLM驱动的搜索、RLAIF和工具选择。
论文阅读（四）:Agglomerative Transformer for Human-Object Interaction Detection
m0_73426012的博客
05-18 890
论文来源：ICCV（2023）项目地址：https://github.com/six6607/AGER.git。
CLIP：论文阅读 -- 视觉模型
--
05-19 1590
CLIP（Contrastive Language–Image Pre-training）是一种创新的计算机视觉模型，旨在解决传统目标检测模型依赖固定分类体系和大量标注数据的局限性。该模型通过在4亿对互联网收集的图文数据上进行预训练，采用“预测图文匹配”的简单任务，成功从零开始学习到强大的图像表征能力。突破固定分类限制：利用自然语言作为通用接口，既能引用已学视觉概念，也可描述新类别，实现零样本迁移（zero-shot transfer），无需针对特定任务微调跨任务泛化性能。
cmd脚本-bat批处理-AdobeRemovePanel.zip
最新发布
05-22
cmd脚本-bat批处理-AdobeRemovePanel.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值