【听说你还不会？】多层神经网络原理详细推导

1 结构

第0层是输入层，输入为X，维度为$(n^{[0]},m)$，其中$n^{[0]}$表示第0层含有的节点，也是X的特征数。$m$表示样本数。

以此类推，第1层的节点数$n^{[1]}$，第2层的节点数$n^{[2]}$，…，第L层的节点数$n^{[L]}$。

2 正向过程

第0层输入层数据$X$，维度$(n^{[0]},m)$。$n^{[0]}$表示第0层含有的节点，也是X的特征数。$m$表示样本数。

第1层：$Z^{[1]}=W^{[1]}X+b^{[1]}$，$A^{[1]}=g^{[1]}(Z^{[1]})$。$W^{[1]}$表示第1层权值，维度$(n^{[1]},n^{[0]})$。$b^{[1]}$表示第1层偏置，维度$(n^{[1]},1)$，这里的加号“+”，使用了广播方式，会将$b^{[1]}$按列复制成维度$(n^{[1]},m)$，从而与前面的$W^{[1]}X$相加。$Z^{[1]}$是第1层线性处理后的值，维度$(n^{[1]},m)$。$g^{[1]}$表示第1层的激活函数，$A^{[1]}$表示第1层的输出，维度$(n^{[1]},m)$

第2层：$Z^{[2]}=W^{[2]}{A}^{[1]}+b^{[2]}$，$A^{[2]}=g^{[2]}(Z^{[2]})$。$W^{[2]}$表示第2层权值，维度$(n^{[2]},n^{[1]})$。$b^{[2]}$表示第2层偏置，维度$(n^{[2]},1)$。$Z^{[2]}$是第2层线性处理后的值，维度$(n^{[2]},m)$。$g^{[2]}$表示第2层的激活函数，$A^{[2]}$表示第2层的输出，维度$(n^{[2]},m)$

第L层：$Z^{[L]}=W^{[L]}{A}^{[L-1]}+b^{[L]}$，$A^{[L]}=g^{[L]}(Z^{[L]})$。$W^{[L]}$表示第L层权值，维度$(n^{[L]},n^{[L-1]})$。$b^{[L]}$表示第L层偏置，维度$(n^{[L]},1)$。$Z^{[L]}$是第L层线性处理后的值，维度$(n^{[L]},m)$。$g^{[L]}$表示第L层的激活函数，$A^{[L]}$表示第L层的输出，维度$(n^{[L]},m)$。$A^{[L]}$就是网络的输出。

写在一起就是：

3 loss

损失函数可以有很多，如交叉熵，MSE等等

$E=loss(A^{[L]})$

4 反向传播

后续的，以此类推即可完成所有层的反向传播。