朝向更具弹性和高效的大型语言模型：效率、性能与对抗鲁棒性比较研究

摘要

随着对大型语言模型（LLMs）实际应用需求的不断增加，许多注意力高效的模型应运而生，旨在平衡性能和计算成本。然而，这些模型的对抗鲁棒性仍然未得到充分研究。本文设计了一个框架，通过比较三种具有不同复杂度和效率的显著模型——Transformer++、Gated Linear Attention (GLA) Transformer 和 MatMul-Free LM，来探讨LLMs在效率、性能和对抗鲁棒性之间的权衡。我们利用GLUE和AdvGLUE数据集进行实验，其中AdvGLUE数据集扩展了GLUE数据集，包含旨在挑战模型鲁棒性的对抗样本。结果表明，尽管GLA Transformer和MatMul-Free LM在GLUE任务上的准确率略低，但它们在AdvGLUE任务中表现出更高的效率和更优或相当的鲁棒性。这些发现突显了简化架构在效率、性能和对抗鲁棒性之间实现良好平衡的潜力，为资源受限和对抗攻击复原能力至关重要的应用提供了宝贵的见解。

1. 引言

近年来，大型语言模型（LLMs）迅速发展，在各种语言理解和生成任务中展现出前所未有的表现。这些成就主要得益于基于变压器架构的发展以及训练技术和模型规模的创新。然而，随着LLMs的复杂性和规模不断增加，关于其效率和可扩展性的担忧也日益突出。训练和部署这些模型所需的巨额计算资源，常常限制了它们的可达性和实用性，尤其是在资源受限的环境中。此外，LLMs对对抗性攻击的脆弱性也引发了对其可靠性和鲁棒性的重大关切。

对抗性攻击涉及对输入数据进行不可察觉的扰动，导致输出不一致和性能下降。随着对LLMs实际应用的需求不断增长，开发旨在平衡性能与计算成本的模型的呼声也越来越高。为此，许多注意力高效模型，如RetNet、Mamba、GLA Transformer和MatMul-Free LM等，已被提出并通过改进序列处理机制显著降低计算负担，同时在性能上保持相对稳定。然而，这些注意力高效模型的对抗鲁棒性尚未得到充分研究，而这对于扩展它们在医疗和软件安全等需要可靠性的领域的应用至关重要。

本文旨在填补这一研究空白，提出一个框架，以评估LLMs的计算效率、性能和对抗鲁棒性之间的权衡，并将该框架应用于三种不同复杂度的显著模型——Transformer++、GLA Transformer和MatMul-Free LM。Transformer++是一种以高性能著称的高级架构，而GLA Transformer和MatMul-Free LM则是具有创新注意力机制和已验证计算效率的新型注意力高效模型。在我们的框架中，我们对这三种模型在GLUE数据集的四个NLP分类任务上进行了任务特定的微调和评估。然后，我们在相应的AdvGLUE任务上评估微调后的模型，其中包含对GLUE数据集的单词级、句子级和人类级对抗攻击。实验结果显示，GLA Transformer和MatMul-Free LM在GLUE任务上实现了更高的效率，并在各项任务中表现出与Transformer++相当的性能。此外，GLA Transformer在所有攻击级别上展现出优越的鲁棒性，而MatMul-Free LM在单词级攻击上表现更为强劲，并在句子级和人类级攻击上与Transformer++的鲁棒性相当。这些发现为这些模型的适用性和鲁棒性提供了宝贵的见解，从而为未来在不同环境中的开发和部署策略提供指导。

贡献

我们的研究在LLM领域做出了以下贡献：

1. 我们填补了关于注意力高效模型（如GLA Transformer和MatMul-Free LM）的对抗鲁棒性研究空白，评估了它们在不同类型对抗攻击下的韧性。
2. 我们提出了一个框架，并进行了实证研究，以评估不同复杂度的LLMs在计算效率、性能和对抗鲁棒性之间的权衡。
3. 我们的研究为在资源受限和对抗环境中选择和部署LLMs提供了策略指导。

2. 相关工作

A. LLM的脆弱性

LLMs在各种任务中展现出了卓越的性能，推动了多个领域（如医疗和软件安全）的革命性变化。然而，尽管能力强大，LLMs和相关应用仍存在脆弱性。例如，Wallace等人发现，人为生成的对抗样本的微小却复杂的修改可以显著误导模型生成错误的响应。这一发现凸显了对抗性攻击对LLMs可靠性的威胁。

B. 对抗性攻击

随着人工智能的普及，各种形式的对抗性攻击应运而生，挑战了AI的鲁棒性。例如，DeepWordBug通过对字符进行微小的插入、删除和交换，展示了深度学习分类器的脆弱性。为了评估LLMs对多种对抗攻击的鲁棒性，AdvGLUE等基准数据集被开发出来，为模型在各种对抗场景下的测试提供了全面的支持。

C. 高效的LLMs

为了满足对LLMs日益增长的需求，许多高效模型应运而生，旨在平衡性能与计算效率。例如，DistilBERT和TinyBERT通过模型蒸馏技术减小了LLMs的规模，而Q8BERT则利用量化技术将32位浮点数转换为8位精度，从而在不显著损失性能的情况下减小模型体积。GLA Transformer和MatMul-Free LM通过改进注意力机制，进一步降低了计算内存，展现出在资源受限环境中的应用潜力。

3. 方法论

A. E-P-R 权衡评估框架

我们提出的E-P-R（效率、性能、鲁棒性）权衡评估框架，旨在评估LLMs的效率、性能和对抗鲁棒性之间的权衡。该框架首先对预训练的LLMs进行微调，然后施加各种对抗攻击以生成对抗样本。微调后的模型将利用原始样本和对抗样本进行评估。

B. 大型语言模型

我们关注的三种语言模型包括Transformer++、GLA Transformer和MatMul-Free LM。每种模型采用不同的注意力机制，导致计算复杂性和效率的差异。

4. 实验

A. 实验设置

我们在预训练的Transformer++、GLA Transformer和MatMul-Free LM模型上进行实验，以评估它们在效率、性能和对抗鲁棒性之间的权衡。所有模型均在SlimPajama数据集上进行预训练，并在GLUE训练集的四个分类任务上进行微调。

B. 评估指标

我们使用平均GPU内存使用率来量化模型的微调效率，并通过准确率评估模型在GLUE任务上的性能。此外，我们引入了准确率下降百分比（ADP）来量化模型对抗攻击的鲁棒性。

5. 结果与讨论

A. 效率

实验结果表明，MatMul-Free LM在GPU内存使用上表现最佳，平均为43.2%，GLA Transformer为47.8%，而Transformer++为57.8%。这些结果与MatMul-Free LM的创新性密切相关，即其通过采用三元权重替代传统的矩阵乘法操作显著提高了计算效率。

B. 性能

在GLUE基准测试中，Transformer++的整体准确率最高，达到85.8%。尽管MatMul-Free LM和GLA Transformer在性能上略有下降，但其表现仍然接近Transformer++。

C. 对抗鲁棒性

在AdvGLUE任务中，GLA Transformer展现出最优的鲁棒性，准确率最高且ADP最低，表明其在面对对抗性攻击时表现优越。相比之下，MatMul-Free LM在单词级攻击中表现更强，而Transformer++在对抗性任务中的表现较弱。

D. 权衡分析

我们的实验结果表明，Transformer++在标准任务中表现出色，但在对抗攻击下具有一定脆弱性。相较而言，GLA Transformer和MatMul-Free LM在效率和鲁棒性方面表现更为平衡，适合资源受限和对抗攻击频发的应用场景。

6. 结论

本研究提出了一个框架，并通过实证研究探讨了LLMs在效率、性能和对抗鲁棒性之间的权衡。我们的分析揭示了注意力高效模型在实现可比性能的同时，能够展现出优越的鲁棒性。这些发现强调了在选择和部署模型时，考虑特定应用需求的重要性。

---