【文献阅读】AdaLora: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

1. 前言

矩阵分解为什么可以加速推理

假设原始权重矩阵$W\in R^{(m\ast n)}$，矩阵乘法中时间复杂度为mn，变形为$W=BA,B\in R^{(m\ast r)},A\in R(r\ast n)$，则时间复杂度变为mr+r*n

2. 矩阵分解

常见的矩阵分解方法有：奇异值分解（SVD），特征值分解（EVD）,LU分解，QR分解

2.1 SVD分解

奇异矩阵是指不可逆矩阵，即行列式为0的矩阵。奇异矩阵的行或列向量之间是线性相关的，换句话说，它的行或列不能形成满秩（rank）矩阵。因此，奇异矩阵的秩小于它的维度。
奇异值描述了矩阵对向量的变换效果。奇异值总是非负的，矩阵的非零奇异值的数量等于矩阵的秩。即，奇异值为 0 的个数表示矩阵的线性依赖程度。

2.2 特征值分解

特征值分解只适用于方阵。

2.3 LU分解

2.4 QR分解

3. AdaLora

3.1 motivation

lora存在一些问题：

• LoRA中所有适配器具有相同的秩（线性无关组的数量），忽略了在微调预训练模型时，权重矩阵的重要性在不同模块和层之间存在显著差异
• 只训练了Attention，没有训练FFN，事实上FFN更重要。

Adalora通过lora矩阵的奇异值去衡量重要性

3.2 改进

• 调整增量矩分配
  AdaLoRA将关键的增量矩阵分配高秩以捕捉更精细和任务特定的信息，而将较不重要的矩阵的秩降低，以防止过拟合并节省计算预算。
• 以奇异值分解的形式对增量更新进行参数化，并根据重要性指标裁剪掉不重要的奇异值，同时保留奇异向量。
  由于对一个大矩阵进行精确SVD分解的计算消耗非常大，这种方法通过减少它们的参数预算来加速计算，同时，保留未来恢复的可能性并稳定训练。