Meta：统计视角的LLM安全对齐分析

📖标题：Mission Impossible: A Statistical Perspective on Jailbreaking LLMs
🌐来源：arXiv, 2408.01420

🛎️文章简介

🔸研究问题：大语言模型（LLM）在经过安全对齐后，仍然容易受到“越狱”攻击。
🔸主要贡献：论文提出了一种理论框架来分析预训练阶段和后对齐阶段的“越狱”现象，并设计了一种新的强化学习与人类反馈（RLHF）算法来提高模型的安全性。

📝重点思路

🔺相关工作

🔸安全来源：尽管LLM能够有效地执行多项任务，但由于其预训练数据中不可避免地存在有害元素，很容易生成攻击性或不当内容，包括仇恨言论、恶意软件、虚假信息或社会偏见。
🔸对齐难点：训练语料库中的行为多样性，对于捕获不同的文化偏好至关重要，有害的界定最终取决于用户的偏好，因此对齐步骤不是通用的，而是取决于模型使用的特定用例。
🔸当前思路：包括在SFT期间注入安全信息、人类专家组建红队测试和改进整个RLHF流程，但对越狱攻击的原则性通用防御的建议很有限。

🔺论文方案

🔸框架假设：把任何提示视为查询和概念的元组，概念表示信息内容（如“蛋炒饭的材料”），唯一地决定了对合理提示的解释，查询表示对概念的指导（如“告诉我怎么选”），改变了真实分布而不影响概念支持。
🔸理论分析：引入PAC-Bayes理论，对模型后验分布的学习算法进行分析，讨论了有害输出在预训练损失和输出概率的解释。
🔸对齐失效：受对抗性鲁棒性研究的启发，证明在安全对齐后，“越狱”是否可能被避免。
🔸安全优化：识别了广泛采用的强化学习微调目标的一个关键缺点，提出了E-RLHF方案来扩大输出分布的安全区。

🔎分析总结

🔸模型如果充分学到了预训练内容，则不可避免地会生成语料库中存在的包括有害行为在内的各种行为。
🔸即使在安全对齐后，语言模型也无法将其输出分布集中在安全响应集上，导致“越狱”不可避免。
🔸通过改进强化学习微调目标，可以训练出更安全、更能抵抗“越狱”攻击的模型，同时保持模型性能。

💡个人观点

论文从统计学视角，提出了一种新的理论框架和RLHF算法来提高模型安全性。

附录