本文是LLM系列文章,针对《SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark
for Large Language Models》的翻译。
摘要
在快速发展的大型语言模型(LLM)中,确保稳健的安全措施至关重要。为了满足这一关键需求,我们提出了SALAD Bench,这是一个专门用于评估LLM、攻击和防御方法的安全基准。SALAD Bench以其广度而闻名,其规模大、多样性丰富、跨越三个层次的复杂分类法和多功能性超越了传统基准。SALAD Bench精心设计了一系列细致的问题,从标准查询到复杂的问题,包括攻击、防御修改和多项选择。为了有效管理固有的复杂性,我们引入了一种创新的评估器:基于LLM的MD Judge,用于QA配对,特别关注攻击增强的查询,确保无缝可靠的评估。上述组件将SALAD Bench从标准LLM安全评估扩展到LLM攻击和防御方法评估,确保了联合用途。我们的广泛实验揭示了LLM对新出现的威胁的抵御能力以及当代防御策略的有效性。数据和评估器开发在https://github.com/OpenSafetyLab/SALAD-BENCH。