论文:Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders
作者:Jinseok Kim* Jaewon Jung* Sangyeop Kim Sohyung Park Sungzoon Cho
发表:arxiv
摘要
尽管大型语言模型 (LLM) 在各种任务中具有令人印象深刻的功能,但它们对不安全提示的脆弱性仍然是一个关键问题。这些提示可能会导致LLM对非法或敏感主题做出回应,对其安全和道德使用构成重大威胁。现有方法尝试使用分类模型来解决这个问题,但它们有几个缺点。随着不安全提示的复杂性日益增加,基于相似性搜索的技术可以识别不安全提示的特定特征,为这一不断发展的问题提供了更稳健、更有效的解决方案。本文研究了句子编码器区分安全提示和不安全提示的潜力,以及根据安全分类法对各种不安全提示进行分类的能力。我们引入了新的成对数据集和分类纯度(CP)指标来衡量这种能力。我们的研究结果揭示了现有句子编码器的有效性和局限性,提出了改进句子编码器以作为更强大的安全检测器运行的方向。我们的代码位于 https://github.com/JwdanielJung/Safe-Embed
方法
安全挑战知识
如果一个模型能区别一个安全提示词和一个不安全提示词,并且这个安全提示词与不安全提示词很相近,那么我们认为这个模型具备了安全挑战知识,我们通过计算相似度判断安全提示词和不安全提示词的区别。
安全边界相似性
现有一个句子编码器E和一个不安全提示词p,存在一个安全的提示词p‘使得p'和p有最相近的相似性
安全对比数据集
作者的另一个贡献是创建了一个安全对比数据集,选择的原始数据集是 Do-not-answer 数据集,该数据集包含900+不安全的提示词,作者通过下面的提示工程,基于GPT-4生成相似但安全的对比数据集
安全分类知识
如果一个模型能很好地识别提示词的安全分类,那么他一定具备安全分类的相关知识。
作者定义了一个指标成为分类纯度CP,用于定义模型对提示词安全分类知识的能力,作者先定义了在一个数据集中,有n个类别C,单个提示词具有一个分类粘性,即
给定提示类别的数量k,作者定义CP为某个分类C的各个提示CS的平均值