清华：LLM分布式安全优化框架

📖标题：Adaptive Deployment of Untrusted LLMs Reduces Distributed Threats
🌐来源：arXiv, 2411.17693

🌟摘要

🔸随着大型语言模型（LLM）的能力越来越强，评估安全措施是否仍然有效是明智的，即使LLM有意绕过它们。之前的工作引入了控制评估，这是一种用于测试不可信模型（即可能试图绕过安全措施的模型）部署策略的对抗性框架。虽然之前的工作将单一故障视为不可接受，但我们在“分布式威胁环境”中进行控制评估，在这种环境中，没有任何单一行动是灾难性的，也没有任何单一行为提供压倒性的错位证据。
🔸我们使用两级部署框架来解决这个问题，该框架使用自适应宏协议在微协议之间进行选择。微协议在单一任务上运行，使用功能较弱但经过广泛测试（可信）的模型来利用和监控不可信的模型。同时，宏协议根据其过去的行为对不可信模型的对齐保持自适应信任，并使用它在更安全和风险更高的微协议之间进行选择。
🔸我们在代码生成测试台上评估我们的方法，在这个测试台上，红队试图使用LLM生成微妙的后门代码，LLM的部署由蓝队保护。我们绘制了安全性（非后门解决方案的数量）和有用性（正确解决方案的编号）的帕累托边界。在给定的有用性水平