你是否想过,ChatGPT这类大语言模型是如何知道2024年的新闻的?答案可能让你惊讶——它们通常并不知道。由于训练成本高昂,大多数模型的“知识截止日期”停留在2023年甚至更早。但一项最新研究揭示了突破性的解决方案,让我们一探究竟。
一、知识更新的世纪难题
想象你买了一本最新版百科全书,但三个月后就过时了。传统AI模型正面临这样的困境:
- 重新训练成本惊人:训练Llama-3这样的模型需要15万亿token,耗资数百万美元
- 专业领域风险巨大:医疗、法律等场景的错误信息可能引发严重后果
- 现有方法杯水车薪:主流编辑技术仅在小规模测试中有效(例如处理20,000条修改)
剑桥团队的最新研究指出:现有知识编辑技术在50万条真实世界数据面前全面失效,这相当于让模型每月消化一整座图书馆的新知识。
二、破局利器:WikiBigEdit基准测试
研究团队打造了一个革命性测试平台: