本文是LLM系列文章,针对《Adversarial Evasion Attack Efficiency against Large Language Models》的翻译。
摘要
大型语言模型(LLM)对文本分类很有价值,但它们的漏洞不容忽视。它们缺乏对抗性示例的稳健性,因此有必要了解不同类型扰动的影响,并评估这些攻击是否可以由普通用户通过少量扰动和对部署的LLM的少量查询复制。这项工作分析了在情绪分类任务中针对五种不同LLM的三种不同类型的对抗性攻击的有效性、效率和实用性。所获得的结果表明,单词级和字符级攻击的影响非常明显。单词攻击更有效,但字符和更受约束的攻击更实用,并且需要减少扰动和查询的数量。在开发对抗性防御策略时需要考虑这些差异,以便为智能文本分类应用程序训练更强大的LLM。
1 引言
2 相关工作
3 方法
4 结果和讨论
5 结论
这项工作分析并比较了三种不同类型的对抗性规避攻击的有效性、效率和实用性,以更好地理解不同类型扰动的影响。这些攻击是在情绪分类任务中使用RottenTomatoes数据集的电影评论文本样本进行的。分析包括每次攻击的扰动量和质量、它们的计算效率以及五种不同LLM的易感性。
所考虑的BERTA攻击、ChecklistAttack和TypoAttack是针对BERT、RoBERTa、DistilBERT、ALBERT和XLNet模型执行的。第一种是BERTAttack,它实现了最佳的总体错误分类率,尽管它需要许多查询,直到它产生了实际上可能欺骗模型的单词级扰动,而且这些扰动并不总是完全一致的。TypoAttack能够生成最小