官方网址:SelfIE: Self-Interpretation of Large Language Model Embeddings
发表:ICML2024
作者:
Haozhe Chen1, Carl Vondrick1, Chengzhi Mao123,
1Columbia University, 2Mila, 3McGill University
摘要
大型语言模型 (LLM) 如何获得答案?解释和控制 LLM 推理过程的能力对于可靠性、透明度和未来模型发展至关重要。我们提出了SelfIE(嵌入的自我解释),这是一个框架,使 LLM 能够通过利用其响应有关给定段落的询问的能力,用自然语言解释自己的嵌入。SelfIE 能够解释隐藏嵌入中的开放世界概念,可在做出道德决策、内化提示注入和回忆有害知识等情况下揭示 LLM 内部推理。SelfIE对隐藏嵌入的文本描述为控制 LLM 推理开辟了途径。我们提出了监督控制,它允许编辑开放式概念,同时只需要计算单个层的梯度。我们将 RLHF 扩展到隐藏嵌入,并提出强化控制,可在没有监督目标的情况下消除 LLM 中的有害知识。
方法
通过将要解释的token替换模型开头的占位token,让模型进行重复或翻译
[X] Please repeate previous message
作者将这一步骤成为解释前向传递,将要解释的token放在输入前端,后面接上用来解释的提示词。解释提示词由两部分组成 [X] 代表占位符 以及 index s=0,“Please repsete previous message” 代表查询提示词
相关性分数计算:
两种防御措施:
1. Supervised Control
2. Reinforcement Control
实验
模型:LLaMA-2-70B-Chat
解释提示词:“[INST] [X] [/INST] Sure, I’ll summarize your message:”
重复[X]占位符5次,并把占位符替换为要解释的embedding
解释层:k=3
作者测试了多个方向的实验效果,包括控制文本输出(positive,negative),有害内容判断,道德判断,控制有害内容筛除等