深度学习-*-正向及反向传播推导

正向传播

如上图所示，这是一个全连接的三层神经网络，之所以说这个是3层，是因为包含了2个隐藏层、1个输出层。输入层在这里我们不把他当做神经网络中的一层看待。
由于本人经验有限，对于每个公式转置的标记掌握不纯熟，在这里就不写了（如果各位介意…那么来打我呀）。到了具体的任务，必须要分析每一步中每个矩阵、数组的维度再进行拼接操作。
这里，我们假设输入数据为$a^{[0]}$，输出为$Y$。
我们先看hidden layer 1，记 权重参数为$W^{[1]}$，偏置为$b^{[1]}$，则线性加权值为$Z^{[1]}=W^{[1]}{a}^{[0]}+b^{[1]}$，激活值$a^{[1]}=G^{[1]}(Z^{[1]})$，$G^{[1]}$为第一层激活函数
hidden layer 2同理：权重参数为$W^{[2]}$，偏置为$b^{[2]}$，则线性加权值为$Z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}$，激活值$a^{[2]}=G^{[2]}(Z^{[2]})$，$G^{[2]}$为第二层激活函数
output layer同理：权重参数为$W^{[3]}$，偏置为$b^{[3]}$，则线性加权值为$Z^{[3]}=W^{[3]}{a}^{[2]}+b^{[3]}$，激活值 a [ 3 ] = G [ 3 ] ( Z [ 3 ]