UNVEILING THE PITFALLS OF KNOWLEDGE EDITING FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《UNVEILING THE PITFALLS OF KNOWLEDGE EDITING FOR LARGE LANGUAGE MODELS》的翻译。

摘要

随着与微调大型语言模型（LLM）相关的成本持续上升，最近的研究工作已转向开发编辑嵌入LLM中的隐含知识的方法。然而，头顶上仍然笼罩着一片乌云——知识编辑会引发蝴蝶效应吗？因为目前尚不清楚知识编辑是否会带来潜在风险的副作用。本文率先调查了LLM知识编辑的潜在陷阱。为了实现这一点，我们引入了新的基准数据集，并提出了创新的评估指标。我们的研究结果强调了两个关键问题：（1）知识冲突：编辑逻辑冲突的事实组可能会放大LLM中固有的不一致性——这是以前方法忽略的一个方面。（2） 知识扭曲：以编辑事实知识为目的改变参数会不可逆转地扭曲LLM固有的知识结构。实验结果生动地表明，知识编辑可能会在不经意间给LLM带来意想不到的后果，这值得关注和努力。

1 引言

2 LLMS知识编辑的陷阱探索

3 相关工作

4 讨论与结论

知识冲突对LLM的副作用本文表明，知识编辑会带来知识冲突的副作用&#x