AllenAI：LLM响应追溯到训练来源-CSDN博客

本文链接：https://blog.csdn.net/weixin_46739757/article/details/147251761

在这里插入图片描述

📖标题：OLMOTRACE: Tracing Language Model Outputs Back to Trillions of Training Tokens
🌐来源：arXiv, 2504.07096

🌟摘要

🔸我们提出了 OLMOTRACE，这是第一个实时将语言模型的输出追溯到其完整、多万亿令牌的训练数据的系统。OLMOTRACE 发现并显示训练文本语料库中语言模型输出和文档片段之间的逐字匹配。由Infini-gram 的扩展版本提供支持，我们的系统在几秒钟内返回跟踪结果。OLMOTRACE 可以帮助用户通过训练数据的视角来理解语言模型的行为。
🔸我们展示了它如何用于探索语言模型的事实检查、幻觉和创造力。OLMOTRACE 是公开的和完全开源的。试用在https://playground.allenai.org

🛎️文章简介

🔸研究问题：如何将大语言模型（LLM）的输出追溯到其训练数据中的确切来源？
🔸主要贡献：论文提出了OLMOTRACE系统，能够实时跟踪LM输出与训练数据之间的逐字匹配，并展示相关文档，提高了对LLM行为的理解。

📝重点思路

🔸使用infini-gram对训练数据进行索引，以支持在大规模文本语料库中快速定位确切匹配。
🔸通过开发新的并行算法，实现快速计算最大匹配跨度，显著降低计算延迟。
🔸设计了一个五步推理管道，包括查找最大匹配跨度、检索包含文档、筛选并合并跨度、以及根据相关性对文档进行重新排序。
🔸在用户界面中，通过过滤和高亮显示与LLM输出相关的训练文档，提升用户的交互体验。

🔎分析总结

🔸OLMOTRACE能够在平均4.5秒内完成对每个LM响应的追溯，证明了其在多万亿标记数据集上的高效性。
🔸实验结果显示，重新排序的文档与LLM输出的相关性得到了显著提高，评估指标显示用户能够更容易找到高相关性的文档。
🔸通过案例研究，OLMOTRACE展示了在事实核查和追溯LLM生成的“创意”表达等方面的实际应用，验证了其有效性。