可验证大模型输出、训练来源，斯坦福提出“统一归因”框架

随着ChatGPT等大模型被广泛应用在实际业务中，其输出内容的真实、可靠、安全性成为了重点。学术界则使用“归因”来表示追查、证实内容。

目前，在“归因”研究领域有两大派系，一种是协同归因，主要追查引用数据和训练数据来源；另外一种是贡献归因，证明模型输出内容的真实性以减少幻觉。

这两种归因方法对于法律、医疗、金融等，对于内容准确率要求极高的行业应用大模型至关重要。

但是这两种研究方法是分开独立进行的，所以，斯坦福大学的研究人员提出了“统一归因”框架，将两种方法集成在一起。

论文地址：https://arxiv.org/abs/2311.12233

协同归因

协同归因主要是用来验证大模型的输出是否正确，并与外部的知识进行比较。例如，我们可以通过生成一些相关的引文或参考文献来追溯大模型输出的来源，并验证它的准确性。

同时可以通过从外部的知识库中检索相关的知识，然后与大模型的输出进行对比和验证。具体功能如下：

引文生成验证：该功能是生成与大模型输出相关的引文或参考文献。它会在知识库或文献数据库中搜索相关的文献，并根据大模型输出的内容生成相应的引文，以追溯大模型输出的来源，并验证其准确性。

例如，通过自然语言处理技术和信息检索技术，验证关键词匹配、文本摘要生成等。

知识检索验证：该功能是从外部的知识库中检索与大模型输出相关的知识，可以利用知识图谱、在线百科全书或专业数据库等资源，通过关键词匹配或语义相似度计算来检索相关的知识。

然后，将检索到的知识与大模型的输出进行对比和验证，以确定其准确性和一致性。

事实验证：可以通过对外部数据源或可信的事实数据库进行查询来实现，通常利用自然语言处理技术和数据匹配算法，将大模型的输出与事实进行比对，从而判断其准确性和可信度。

贡献归因

贡献归因方法主要是用来确定训练数据对大模型输出的影响有多大。例如，我们可以对训练数据进行微小的变动，然后观察大模型输出的变化，从而计算出每个训练样本对大模型输出的影响程度。

另外，可以生成一些模拟的数据，并比较它们与真实数据集上大模型输出的差异，这样就可以推断出训练数据的贡献程度。具体功能如下：

影响函数验证：通过对训练数据进行微小的变动，观察大模型输出的变化来实现。

开发者可以设计一些影响函数来度量变动对大模型输出的影响程度，就可以确定哪些训练数据对大模型输出具有重要影响，从而更好地理解模型的行为。

数据模拟器验证：通过生成一些与真实数据相似但有差异的数据，可以观察大模型输出的差异，从而推断出真实数据对大模型输出的贡献程度。

数据模拟器验证可以利用生成对抗网络（GAN）或其他生成模型来生成模拟数据。

数据模型验证：通过构建一个数据模型，用于表示大模型对训练数据的学习和预测过程。数据模型可以是一个统计模型或神经网络模型。

通过分析数据模型，开发者们可以确定哪些训练数据对大模型输出具有重要性，并对模型的训练和优化过程进行解释。

斯坦福便是将协同归因和贡献归因的主要功能，整合在一个框架中方便开发者对大模型进行各种安全、内容验证。
​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。