论文翻译：ACL-2024 CCF-A radSafe: Detecting Jailbreak Prompts for LLMs via Safety-Critical Gradient

GradSafe: Detecting Jailbreak Prompts for LLMs via Safety-Critical Gradient Analysis
https://aclanthology.org/2024.acl-long.30.pdf

GradSafe: 通过安全关键梯度分析检测大型语言模型的越狱提示

摘要

大型语言模型（LLMs）面临着越狱提示的威胁。现有的检测越狱提示的方法主要是在线内容审核API或微调后的LLMs。然而，这些策略通常需要广泛且资源密集的数据收集和训练过程。在这项研究中，我们提出了GradSafe，它通过仔细检查LLMs中安全关键参数的梯度来有效检测越狱提示。我们的方法基于一个关键的观察：越狱提示与遵从性回应（如“当然”）配对时，LLMs损失的梯度在某些安全关键参数上显示出相似的模式。相比之下，安全提示导致不同的梯度模式。基于这一观察，GradSafe分析提示（与遵从性回应配对）的梯度，以准确检测越狱提示。我们展示了GradSafe在不需要进一步训练的情况下应用于Llama-2，其性能优于经过大量数据集微调的Llama Guard——在检测越狱提示方面。这种优越的性能在零样本和适应性场景