微软MIT联合研究：创新训练方法推动Transformer模型因果推理新高度

最新推荐文章于 2025-05-05 18:23:51 发布

小马不会过河

最新推荐文章于 2025-05-05 18:23:51 发布

阅读量1.1k

点赞数 27

文章标签： transformer 深度学习人工智能阿里云百度 llama whisper

本文链接：https://blog.csdn.net/m0_59163425/article/details/140618849

版权

【行客按】最近来自微软、麻省理工学院（MIT）和印度理工学院海德拉巴分校的研究团队提出了一种创新的训练范式——公理训练框架（Axiomatic Training Framework），成功攻破了大模型在推理方面的缺陷。他们通过因果模型构建数据集，直接教模型学习公理，结果显示仅有67M参数的微型Transformer模型在因果推理能力上竟能媲美GPT-4这一万亿参数级的巨兽。这一突破性的成果发表在论文《Teaching Transformers Causal Reasoning through Axiomatic Training》中，迅速引起了学术界和工业界的广泛关注。

因果推理是一种复杂的推理过程，需要模型理解和应用因果关系，超越简单的相关性分析。然而生成高质量的干预数据（即通过实验获得的数据）成本高昂且难以实现。因此研究团队着眼于能否让模型从被动数据（即无干预数据）中学习因果推理。

图灵奖得主Judea Pearl曾提出，通过在模型中引入因果关系，可以显著增强模型的泛化能力。Pearl的理论奠定了因果推理的基础，他提出的因果关系阶梯（Ladder of Causation）和结构化因果规则，为本次研究提供了重要启示。

公理训练方法：创新的因果推理学习范式

什么是公理训练？

公理训练是通过符号化的因果公理示例来直接教模型学习因果推理的一种方法。具体来说，研究人员提出模型可以通过学习多种因果公理（如传递性公理）的示例，来理解和应用这些公理，从而在下游任务中进行因果推理。

技术原理解析

研究人员基于以下几点展开研究：

因果推理的定义：因果推理被定义为遵循预定义因果公理的一组推理程序。
公理的直接学习：模型直接从公理的符号示例中学习，而不是从数据中推断出公理。
因果图模型：通过一组内生变量、外生变量及其之间的因果关系构建因果图。

实现方法与实验结果

数据生成与训练：研究团队生成了大量基于传递性公理的合成符号表达式，用于训练一个67M参数的Transformer模型。训练数据包括因果链的自然语言表达、假设（问题形式）和对应的标签（“是”或“否”）。
模型架构与训练细节：使用基于GPT-2架构的解码器模型，训练过程中采用AdamW优化器，学习率为1e-4，训练100个epoch。实验了不同的位置信息编码策略，发现无编码的模型在泛化能力上表现最佳。
评估与结果：

长链的泛化能力：模型在更长因果链上的表现优于许多更大参数的语言模型。
节点名称变化的泛化能力：模型在面对更长的节点名称时仍能保持较高的准确率。
顺序变化的泛化能力：模型能有效应对完全逆序和顺序打乱的因果链。
分支结构的泛化能力：模型在复杂的分支结构上也能保持较高的准确率

这些结果表明，通过公理训练，Transformer模型不仅可以学习因果关系，还可以在复杂的因果图结构中进行准确的因果推理。

这项研究为在实际应用中实现因果推理开辟了新的途径。例如，在医疗诊断、金融预测和社会科学研究中，因果推理可以帮助模型更准确地识别因果关系，而不仅仅是简单的相关性。这将大大提升AI系统在这些领域的应用价值和可靠性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述