大型语言模型（LLMs）的后门攻击和防御技术

    大型语言模型（LLMs）通过训练在大量文本语料库上，展示了在多种自然语言处理（NLP）应用中取得最先进性能的能力。与基础语言模型相比，LLMs在少样本学习和零样本学习场景中取得了显著的性能提升，这得益于模型规模的扩大。随着模型参数的增加和高质量训练数据的获取，LLMs更能识别语言中的固有模式和语义信息。

    尽管部署语言模型有潜在的好处，但它们因易受对抗性攻击、越狱攻击和后门攻击的脆弱性而受到批评。最近的研究表明，后门攻击可以轻易地在被破坏的LLMs上执行。随着LLMs应用的日益广泛，对后门攻击的研究对于确保LLMs的安全至关重要。

1 后门攻击背景

后门攻击是一种针对机器学习模型的恶意攻击方式，旨在在模型中植入隐蔽的恶意代码，使攻击者能够通过特定的触发器操控模型的输出。对于大型语言模型（LLMs）而言，后门攻击是一个潜在的安全威胁，需要引起重视。

1.1 后门攻击构成要素

一个有效的后门攻击通常包含以下几个关键要素：

• 触发器 (Trigger): 触发器是后门攻击的“开关”，用于激活后门行为。触发器可以是字符、单词、句子、文本风格或语法结构等。
• 植入 (Implantation): 植入是指将触发器嵌入到训练样本或模型权重中，使模型学习到触发器与目标标签之间的关联。
• 目标标签 (Target Label): 目标标签是攻击者希望模型在触发器激活时预测的标签。
• 攻击者 (Attacker): 攻击者是指发起后门攻击的个人或组织，他们通常拥有访问训练数据或模型部署的权限。
• 受害者模型 (Victim Model): 受害者模型是指被植入后门的机器学习模型，它在遇到触发器时会表现出异常行为。

1.2 基准数据集

• 文本分类：SST-2、IMDB、YELP等。
• 生成任务：IWSLT、WMT、CNN/Daily Mail等。

1.3 评估指标

后门攻击的评估指标用于衡量攻击的效果、模型的鲁棒性以及攻击的隐蔽性。选择合适的评估指标对于评估后门攻击的成功率和模型的防御能力至关重要。

• 攻击成功率 (Attack Success Rate, ASR): 攻击成功率是指模型在遇到触发器时预测目标标签的概率。ASR越高，表示攻击效果越好。
• 清洁准确率 (Clean Accuracy, CA): 清洁准确率是指模型在遇到未中毒样本时预测正确标签的概率。CA越高，表示模型的鲁棒性越好。
• BLEU (Bilingual Evaluation Understudy): BLEU是衡量机器翻译质量的指标，用于评估生成文本与参考文本之间的相似度。
• ROUGE (Recall-Oriented Understudy for Gisting Evaluation): ROUGE是衡量自动摘要质量的指标，用于评估摘要与原文之间的重合度。
• 困惑度 (Perplexity, PPL): 困惑度是衡量语言模型生成文本流畅性的指标，困惑度越低，表示生成文本越流畅。
• 语法错误率: 语法错误率是衡量生成文本语法正确性的指标，错误率越低，表示生成文本语法越正确。