这篇博客探讨了针对预训练语言模型的知识编辑方法，包括KN、ROME、MEMIT、PMET和MEMIT_CSK。文章介绍了这些方法如何定位并编辑模型中的事实知识，以及它们的局限性和未来展望。例如，KN提出知识神经元的概念，而ROME和MEMIT着重于模型的权重编辑，PMET则专注于Transformer组件的精确编辑，而MEMIT_CSK则关注常见 sense 知识的编辑。尽管这些方法取得了一定进展，但仍然面临知识表示形式、推理能力和多语言支持等方面的挑战。
1. KN
《Knowledge Neurons in Pretrained Transformers》_ACL 2022
- 作者&机构：Damai Dai & Peking University | Microsoft Research
- 论文地址：https://aclanthology.org/2022.acl-long.581/
- 代码地址：https://github.com/Hunter-DDM/knowledge-neurons
- 概述：本文提出了Knowledge Neurons（知识神经元）的概念，初步研究了factual knowledge是如何存储在预训练Transformer模型中。具体来说，本文检查了BERT的填充任务。即给定一个关系事实，本文提出了一种knowledge attribution（知识归因）方法来识别表达该事实的神经元。本文发现Knowledge Neurons的激活与其相应的事实表达呈正相关。最后，本文试图利用知识神经元来编辑（如更新和删除）特定的事实知识，而不进行微调。
- 局限&展望：
- 没有关注Knowledge Neurons（知识神经元）之间的相互作用；
- 为了方便评估，只关注了factual knowledge，没有关注其他类型的知识；
- 没有探究知识神经元在多语言预训练模型中的工作机制；
最低0.47元/天 解锁文章
扫一扫
531
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
