神经网络与深度学习笔记——3.3计算神经网络输出

1.计算单隐层网络输出

logistic回归计算分两个步骤：z、a，上图右部分为计算隐层前两个节点过程，与logistic回归一样，分两步。字母上角标表示layer，下角标表示layer的第几个节点。

2.计算单隐层网络输出矩阵表示

将两步计算表示成矩阵计算形式，如上图所示。其中W向量是4*3矩阵，因为输入x三个特征，每个w是1*3矩阵。向量化经验法则：一层中不同节点，就纵向堆叠，如X向量，Z向量，W向量（由w转置向量堆叠），b向量，a向量。求a向量时，对Z向量求sig函数即可。

3.计算神经网络输出的向量化

将x，y用a替换：，，上述隐藏层的下一层可以写成类似矩阵形式，如上图下两个等式所示，参数维度已标出。

当有一个单隐层网络时，代码中要实现的是计算上述四个等式，前两个等式计算隐层中四个logistic回归单元，下两个等式计算输出层logistic回归单元。

向量化即将参数堆叠构成矩阵，好处是能够一次性计算出整个训练集输出。