LORA更新

1. 因为在大模型损失梯度下降过程中，权重的更新矩阵基本是低秩矩阵。所以可以将权重变化做矩阵分解，权重变化矩阵变成了两个小的矩阵相乘。神经网络的每一个连接层都可以做这样一个分解。

2. 在训练过程中，每一次权重更新都更新到了这两个小矩阵上，这样在不动原大模型矩阵的基础上，原模型的输出加上这两个小矩阵相乘的输出结果，即相当于对原模型进行了微调。

3. 如果将两个小矩阵的分解改为svd分解，就可以只保留特征值大的特征向量，做进一步压缩。