机器学习常见公式推导

线性层的反向传播

对于函数$Y=XW$（ 注：$X$是一个$m\times n$的矩阵，$W$是一个$n\times k$的矩阵，$Y$是一个$m\times k$的矩阵。这里的$W$通常代表模型的权重，而$X$代表输入数据。）

如何求$\frac{\partial Y}{\partial W}$呢，通常我们只关心其一个特定的切片，即$\frac{\partial Y_{ij}}{\partial W_{rs}}$。

对于单个元素$Y_{ij}$而言，其是矩阵$X$的第$i$行和矩阵$W$的第$j$列的点积。因此：

$$Y_{ij}=\sum _{p=1}^n{X}_{ip}\cdot W_{pj}$$

当我们对$Y_{ij}$关于$W_{rs}$求导时，我们只关心$W_{rs}$这一项，其他项的导数为0。因此：

$$\frac{\partial Y_{ij}}{\partial W_{rs}}=\frac{\partial }{\partial W_{rs}}\left(\sum _{p=1}^n{X}_{ip}\cdot W_{pj}\right)$$

$$\frac{\partial Y_{ij}}{\partial W_{rs}}=X_{ir}\cdot \frac{\partial W_{sj}}{\partial W_{rs}}$$

由于$\frac{\partial W_{sj}}{\partial W_{rs}}$只有当$s=r$且$j=s$时才为1，否则为0，因此：

$$\frac{\partial Y_{ij}}{\partial W_{rs}}=X_{ir}\cdot {\delta }_{sj}$$

其中${\delta }_{sj}$是Kronecker delta 函数，当$s=j$时为1，否则为0

因此，$\frac{\partial Y}{\partial W}$的每个元素$\frac{\partial Y_{ij}}{\partial W_{rs}}$都是一个$m\times n\times k$的张量，其中$i$和$j$分别索引$Y$的行和列，而$r$和$s$分别索引$W$的行和列。

然而，通常我们不会将$\frac{\partial Y}{\partial W}$视为一个张量，而是将其简化为一个矩阵。因为在实际应用中，我们通常对整个矩阵$W$进行更新，而不是单独更新它的每个元素。因此，我们可以将$\frac{\partial Y}{\partial W}$的所有元素$\frac{\partial Y_{ij}}{\partial W_{rs}}$合并成一个$m\times k\times n$的张量，然后将其简化为一个$m\times n$的矩阵，即$X$。这是因为在矩阵乘法中，$Y$的每个元素$Y_{ij}$只依赖于$X$的第$i$行和$W$的第$j$列，所以$\frac{\partial Y}{\partial W}$实际上是一个$m\times n$的矩阵，而不是一个$m\times n\times k$的张量，最终有：

$$\frac{\partial Y}{\partial W}=X$$

可通过此网站 https://www.matrixcalculus.org/ 验证矩阵求导的正确性。

在神经网络的链式求导过程，我们求$Y$对$W$的梯度，通常还会乘以$Y$本身对应的梯度 $gra{d}_y$，$gra{d}_y$ 是$m\times k$的矩阵，这时候我们需要对$\frac{\partial Y}{\partial W}$转置。

Softmax函数的反向传播

Softmax函数的定义是：

$$p_i=\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}$$

对于Softmax函数的导数$\frac{\partial p_i}{\partial z_j}$， 可以通过以下方式计算：

$$\frac{\partial p_i}{\partial z_j}=\frac{\partial }{\partial z_j}\left(\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}\right)$$

使用商的求导法则，我们得到：

$$\frac{\partial p_i}{\partial z_j}=\frac{e^{z_i}\cdot \frac{\partial }{\partial z_j}({\sum }_k{e}^{z_k})-\frac{\partial }{\partial z_j}(e^{z_i})\cdot {\sum }_k{e}^{z_k}}{({\sum }_k{e}^{z_k}{)}^2}$$

简化后，我们得到：

$$\frac{\partial p_i}{\partial z_j}=\frac{e^{z_i}\cdot {\delta }_{ij}-e^{z_i}\cdot e^{z_j}}{({\sum }_k{e}^{z_k}{)}^2}$$

其中${\delta }_{ij}$是Kronecker delta函数，当$i=j$时为1，否则为0。

进一步简化，我们得到：

$$\frac{\partial p_i}{\partial z_j}=p_i\cdot (1-{\delta }_{ij})-p_i\cdot p_j$$

最终，我们得到Softmax函数的导数为：

$$\frac{\partial p_i}{\partial z_j}=\{\begin{array}{l}{p}_i(1-p_j)\text{ , if }i=j;\\ -p_i{p}_j\text{ , if }i\ne j\end{array}$$

Softmax函数的导数是一个矩阵，其中每个元素都是输出概率的函数。

Relu函数的反向传播

ReLU（Rectified Linear Unit）函数是深度学习中常用的一种激活函数，其数学表达式为：

$$f(x)=\max (0,x)$$

其反向传播公式为：

$$\frac{\partial f(x)}{\partial x}=\{\begin{array}{l}0\text{ , if }x\le 0;\\ 1\text{ , if }x>0\end{array}$$

MSE函数的反向传播

MSE（Mean Squared Error）函数是深度学习中常用的一种损失函数，其公式如下：

$$MSE=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

其中，$n$是数据点的数量，$y_i$是第$i$个数据点的真实值，${\hat{y}}_i$是第$i$个数据点的预测值。

在反向传播过程中，MSE 损失函数单个预测值${\hat{y}}_i$的梯度可以表示为：

$$\frac{\partial MSE}{\partial {\hat{y}}_i}=-\frac{2}{n}(y_i-{\hat{y}}_i)$$