📖标题:Mission Impossible: A Statistical Perspective on Jailbreaking LLMs
🌐来源:arXiv, 2408.01420
🛎️文章简介
🔸研究问题:大语言模型(LLM)在经过安全对齐后,仍然容易受到“越狱”攻击。
🔸主要贡献:论文提出了一种理论框架来分析预训练阶段和后对齐阶段的“越狱”现象,并设计了一种新的强化学习与人类反馈(RLHF)算法来提高模型的安全性。
📝重点思路
🔺相关工作
🔸安全来源:尽管LLM能够有效地执行多项任务,但由于其预训练数据中不可避免地存在有害元素,很容易生成攻击性或不当内容,包括仇恨言论、恶意软件、虚假信息或社会偏见。
🔸对齐难点:训练语料库中的行为多样性,对于捕获不同的文化偏好至关重要,有害的界定最终取决于用户的偏好,因此对齐步骤不是通用的,而是取决于模型使用的特定用例。
🔸当前思路:包括在SFT期间注入安全信息、人类专家组建红队测试和改进整个RLHF流程,但对越狱攻击的原则性通用防御的建议很有限。
🔺论文方案
🔸框架假设:把任何提示视为查询和概念的元组,概念表示信息内容(如“蛋炒饭的材料”),唯一地决定了对合理提示的解释,查询表示对概念的指导(如“告诉我怎么选”),改变了真实分布而不影响概念支持。
🔸理论分析:引入PAC-Bayes理论,对模型后验分布的学习算法进行分析,讨论了有害输出在预训练损失和输出概率的解释。
🔸对齐失效:受对抗性鲁棒性研究的启发,证明在安全对齐后,“越狱”是否可能被避免。
🔸安全优化:识别了广泛采用的强化学习微调目标的一个关键缺点,提出了E-RLHF方案来扩大输出分布的安全区。
🔎分析总结
🔸模型如果充分学到了预训练内容,则不可避免地会生成语料库中存在的包括有害行为在内的各种行为。
🔸即使在安全对齐后,语言模型也无法将其输出分布集中在安全响应集上,导致“越狱”不可避免。
🔸通过改进强化学习微调目标,可以训练出更安全、更能抵抗“越狱”攻击的模型,同时保持模型性能。
💡个人观点
论文从统计学视角,提出了一种新的理论框架和RLHF算法来提高模型安全性。
附录