【LORA微调的A初始化为0,B不为零的解释】

假设你有一个模型，其中 ( $$h=w_0\cdot x+B\cdot A\cdot x$$)，这里 ( $w_0$ ) 是权重，( B ) 和 ( A ) 是矩阵，
( $x$ ) 是输入向量。这样的表达式在神经网络中是常见的，尤其是当你考虑到多层结构和线性变换时。对这样的模型进行梯度计算，可以分解为对每个参数的偏导数。

前提

首先，我们定义模型输出：

$$h=w_0\cdot x+B\cdot A\cdot x$$

我们假设损失函数 ( L ) 依然使用均方误差，用于评估预测 ( h ) 和真实目标值 ( y ) 之间的差异：
$$L=\frac{1}{2}(h-y{)}^2$$

梯度计算

1. 对 ( $w_0$ ) 的偏导:

   • 使用链式法则：
     $$\frac{\partial L}{\partial w_0}=\frac{\partial L}{\partial h}\cdot \frac{\partial h}{\partial w_0}$$
   • 其中：
     $$\frac{\partial L}{\partial h}=(h-y)$$
     $$\frac{\partial h}{\partial w_0}=x$$
   • 所以：
     $$\frac{\partial L}{\partial w_0}=(h-y)\cdot x$$

2. 对矩阵 ( B ) 的偏导:

   • 同样使用链式法则：
     $$\frac{\partial L}{\partial B}=\frac{\partial L}{\partial h}\cdot \frac{\partial h}{\partial B}$$
   • 其中 ( \frac{\partial h}{\partial B} ) 需要使用矩阵乘法的导数规则：
     $$\frac{\partial h}{\partial B}=(A\cdot x{)}^{\top }$$
   • 所以：
     $$\frac{\partial L}{\partial B}=(h-y)\cdot (A\cdot x{)}^{\top }$$

3. 对矩阵 ( A ) 的偏导:

   • 链式法则：
     $$\frac{\partial L}{\partial A}=\frac{\partial L}{\partial h}\cdot \frac{\partial h}{\partial A}$$
   • 计算 ( \frac{\partial h}{\partial A} ) 也需要用到矩阵导数，特别是矩阵相乘的情况：
     $$\frac{\partial h}{\partial A}=B^{\top }\cdot x$$
   • 所以：
     $$\frac{\partial L}{\partial A}=B^{\top }\cdot x\cdot (h-y)$$

模型参数更新

利用梯度下降法更新每个参数：

• ( $w_0$ ) 的更新：
  [ $$w_0=w_0-\eta \cdot \frac{\partial L}{\partial w_0}$$ ]
• ( $$B$$) 的更新：
  [ $$B=B-\eta \cdot \frac{\partial L}{\partial B}$$]
• ( $A$ ) 的更新：
  [ $$A=A-\eta \cdot \frac{\partial L}{\partial A}$$]

这些更新将使得模型在迭代过程中逐步减少预测误差，最终学习到将输入 ( $x$ ) 映射到输出 ( $y$ ) 的最佳方式。每次迭代都基于当前数据点或数据批次计算梯度，并更新参数，以最小化整个训练集上的损失。

本质是