深度学习（27）随机梯度下降五: 单输出感知机梯度

Recap

• $y=XW+b$
• $y=\sum x_i\ast w_i+b$
  

1. Perceptrnon with Sigmoid + MSE

注:
(1) $x_i^0$: $x$表示输入层的元素，上角标表示第几层（0表示第0层），下角标表示第几个元素（$n$表示第$n$个元素）;
(2) $w_{ij}^1$: $w$表示权值，上角标表示第几个隐藏层（1表示第1个隐藏层），下角标i表示连接上一层的第i个元素，$j$表示连接下一层的第$j$个元素（由于上图中第1层共有1个元素，所以连接第0层和第1层的权重的下角标中的$j$值都为0，代表第0个元素）;
(3) $x_0^1$: 上角标1表示第1层，$x$表示经过第0输入$x$和第1层隐藏层得到的输出值，下角标0表示第0个元素，因为这节课讨论单输出，所以只有1个元素;
(4) $O_0^1$: $O$表示$x$经过激活函数的输出值，上角标表示第几层，1表示第1层的$x$经过激活函数得到$O$，下角标0表示第0个元素;
(5) $t$: $target$，即目标值，标签值，label值;
(6) $E$: 即$loss$，E=〖(O_0^1-t)〗2;

2. Derivative

• 损失函数$loss$为:
  $$E=\frac{1}{2}(O_0^1-t{)}^2$$
  注: 这里的$\frac{1}{2}$是为了求导的时候和平方抵消掉，写不写不影响结果（梯度的单调性不会改变）;
• 对$w_{j0}$求偏导数:
  $$\frac{\partial E}{\partial w_{j0}}=(O_0^1-t)\frac{\partial O_0}{\partial w_{j0}}$$
• $O_0=\sigma (x_0)$:
  $$\frac{\partial E}{\partial w_{j0}}=(O_0^1-t)\frac{\partial \sigma (x_0)}{\partial w_{j0}}$$
• $\frac{\partial \sigma (x_0)}{\partial w_{j0}}=\frac{\partial \sigma (x_0)}{\partial x_0}\cdot \frac{\partial x_0}{\partial w_{j0}}$，其中$\frac{\partial \sigma (x_0)}{\partial x_0}=\sigma (x_0)(1-\sigma (x_0))$，这个在前面的激活函数的梯度部分讲解过了:
  $$\frac{\partial E}{\partial w_{j0}}=(O_0^1-t)\sigma (x_0)(1-\sigma (x_0))\frac{\partial x_0^1}{\partial w_{j0}}$$
• $O_0=\sigma (x_0)$:
  $$\frac{\partial E}{\partial w_{j0}}=(O_0^1-t)O_0(1-O_0)\frac{\partial x_0^1}{\partial w_{j0}}$$
• 因为$x_0^1=x_0^0{w}_{00}^1+x_1^0{w}_{10}^1+x_2^0{w}_{20}^1+\cdots +x_j^0{w}_{j0}^1+\cdots +x_n^0{w}_{n0}^1$，所以:
  $$\frac{\partial E}{\partial w_{j0}}=(O_0^1-t)O_0(1-O_0)\frac{\partial x_0^1}{\partial w_{j0}}=(O_0^1-t)O_0(1-O_0)x_j^0$$

综上所述，单输出感知机梯度为:
$$\frac{\partial E}{\partial w_{j0}}=(O_0^1-t)O_0(1-O_0)x_j^0$$

3. 代码

(1) x=tf.random.normal([1, 3]): 创建一个1个样本3个维度的Tensor;
(2)w=tf.ones([3, 1]): 权重$w$，将输出维度变为[1];
(3) 上述过程为求单输出感知机梯度。

参考文献:
[1] 龙良曲:《深度学习与TensorFlow2入门实战》