计算一个简单的两层感知机的梯度

计算一个简单的两层感知机的梯度

损失函数：

$$\begin{eqnarray*} L &=\frac1{2K}\sum_{i=1}^K\| y_i-W^2W^1x_i\|^2_2 \\ &=\frac1{2K}\| Y-W^2W^1X\|^2_F \end{eqnarray*}$$
其中：
$$\begin{eqnarray*} Y&=\left[ y_1, y_2, ... ,y_K \right]\\ X&=\left[ x_1, x_2, ... ,x_K \right] \end{eqnarray*}$$

计算梯度：

$$\frac{\partial L}{\partial \left ( Y-W^2W^1X \right )}=\frac1K \left ( Y-W^2W^1X \right )$$
$$\frac{\partial L}{\partial \left ( W^2W^1X \right )}=\frac1K \left ( W^2W^1X -Y\right )$$
$$\frac{\partial L}{\partial \left ( W^2W^1 \right )}=\frac1K \left ( W^2W^1X -Y\right )X^\top$$

$$\begin{eqnarray*} \therefore \frac{\partial L}{\partial W^1} &= \frac1K W^{2\top} \left ( W^2W^1XX^\top -YX^\top\right)\\ &=W^{2\top}\left( W^2W^1C^{xx}-C^{yx} \right) \\ \frac{\partial L}{\partial W^2} &=\frac1K \left ( W^2W^1XX^\top -YX^\top\right)W^{1\top} \\ &=\left( W^2W^1C^{xx}-C^{yx} \right)W^{1\top} \end{eqnarray*}$$
其中：
$$\begin{eqnarray*} C^{xx}&=\frac1K\sum_{i=1}^Kx_ix_i^\top\\ C^{yx}&=\frac1K\sum_{i=1}^Ky_ix_i^\top \end{eqnarray*}$$