北交：系统2对齐优化LLM的安全性

📖标题：Don’t Command, Cultivate: an Exploratory Study of System-2 Alignment
🌐来源：arXiv, 2411.17075

🌟摘要

🔸o1系统卡将o1模型确定为OpenAI中最稳健的模型，其定义特征是从快速、直观的思维（system-1）到更深思熟虑、理性的思维（system-2）的发展。这一观察促使我们研究System-2思维模式对模型安全性的影响。
🔸在我们的初步研究中，我们对o1模型进行了安全评估，包括使用对抗性自然语言提示和数学编码提示的复杂越狱攻击场景。我们的研究结果表明，o1模型显示出相对提高的安全性能，尽管漏洞仍然存在，特别是针对利用数学编码的攻击。通过详细分析，我们确定了与这些漏洞相关的具体响应模式。我们使用即时工程和监督微调技术在开源模型上进一步探索了System-2对齐。
🔸实验结果表明，鼓励模型仔细分析用户输入的方法可以提高安全性。此外，我们提出了一个强化学习与过程监督的实施框架，以加强安全一致性。实施细节和实验结果将在未来的版本中呈现。

🛎️文章简介

🔸研究问题：如何通过系统-2对齐来提高大语言模型在处理复杂推理任务时的安全性和鲁棒性？
🔸主要贡献