《Knowledge Neurons in Pretrained Transformers》论文解读 ACL2022

摘要

设计了【知识归因】方法去识别哪些神经元表达了某一种事实知识，作者发现这种知识神经元的激活程度与它们相应事实的表达呈正相关，也就是说它们对相应事实的表达越多，这个知识神经元的激活程度越大。作者企图利用只是神经元去编辑（更新和擦除）特定的实事知识，而无需进行微调。

标题

预训练语言模型通过大量语料的训练，将实事知识存储在transformer的前馈神经网络（FFN，两层的线性层）的参数中，只需调整知识所对应的知识神经元的激活值就可以显式地控制模型对知识的表达，而不需要改变参数值。Prompt可以让表达相关知识的神经元的激活值更大。

1.证明了事实知识是被存储在知识神经元中，并且特定的知识对应着特定的知识神经元。
（1） 给定一个样本，模型需要预测它表达了关系型事实R，文章使用知识归因去识别哪些神经元存储表示了这个事实。具体地，使用积分梯度法对每个神经元对关系R的预测的贡献程度打分，并设置阈值T，初步筛选出对关系R预测贡献度大的知识神经元。
（2） 第一步定位的知识神经元还有很多“假阳性”知识神经元（表达了句法信息或者词汇信息等与关系类型无关的其它知识）所以还需要进一步筛选假阳性知识神经元来提升定位效果。具体地，构造不同的prompt包裹样本，它们之间有各种各样句法词汇信息，但是它们都表达了R关系。所以进一步提炼出不同prompts之间共享的神经元，从而定位出表达R关系真正对应的知识神经元。
2.调整知识神经元的激活值可以显式地控制模型对知识的表达
通过抑制或放大定位到的知识神经元的激活值，模型的准确率也相应提高和降低，证实了（1）知识神经元的激活值和模型表达效果呈正相关（2）知识神经元对其知识具有专有性。
**3.为了研究什么类型的提示可以更好地激活知识神经元，比较了三种不同类型的prompt对知识神经元的平均激活值。**这三种类型分别是（1）包含头实体尾实体的prompt，（2）只包含头实体的prompt（3）随机构建的prompt。结果证明【富含关系知识的prompt】对关系知识对应的知识神经元的激活程度最大。Prefixtuning中也提出语义流畅，且与任务相关的模板对模型的激发效果好。

总结

1.证明了事实知识是被存储在知识神经元中，并且特定的知识对应着特定的知识神经元。
2.调整知识神经元的激活值可以显式地控制模型对知识的表达
3.结果证明【富含关系知识的prompt】对关系知识对应的知识神经元的激活程度最大。此外，Prefixtuning中也提出语义流畅，且与任务相关的模板对模型的激发效果好。