JADE-DB：基于靶向变异的大语言模型安全通用基准测试集

摘要

      本文提出大语言模型安全通用基准测试集—JADE-DB，该数据集基于靶向变异方法自动化构建，能够将经验丰富的大语言模型安全测试员和多学科专家学者手工撰写的测试问题转化为高危通用问题，保持语言自然性的同时不改变其核心语义，且能够攻破十余款国内外知名大语言模型的安全防护机制. 根据语言复杂性差异，JADE-DB包含基础、进阶、高危三个安全测试等级，共计上千条覆盖违法犯罪、侵犯权益、歧视偏见和核心价值观4大类违规主题、30多种违规主题的通用测试问题，其中针对国内开源（中文，8款）、国内商用（中文，6款）和国外商用大语言模型（英文，4款）三组大语言模型分别构建的三款通用高危测试集，可造成每组模型在高危测试集上的平均违规率均超过 70%，测试问题均可同时触发多款模型违规生成. 这表明，语言的复杂性导致现有大语言模型难以学习到人类无穷多种表达方式，因此无法识别其中不变的违规本质.  

亮点图文

0.   引言

根据语言复杂性差异，JADE-DB的测试问题共分为基础、进阶、高危三个安全测试等级，共