浅层神经网络

神经网络概览

下面是一个两层的神经网络模型

使用$[i]$表示神经网络的第i层。学习的内容就是正向传播和反向传播。

神经网络表示

下面是一个双层神经网络

最左边的是输入层，输入的是特征向量；中间层是隐藏层，因为对训练集来说，这一层是不可见的；最后一层是输出层。输入层又称为第0层，特征向量x又表示为$a^{[0]}$。从隐藏层的第一层开始计算层数，在本例子中使用$a^{[1]}$表示隐藏层，从上往下的神经元分别用$a^{[1]}, a^{[2]}, a^{[3]}, a^{[4]}$表示。输出层使用$a^{[2]}$表示。最后的结果$\hat{y}$即为$a^{[2]}$。对于第1层，有参数$W^{[1]} \in R^{4 \times 3}$和$b^{[1]} \in R^{4 \times 1}$。对于第2层，有参数$W^{[2]} \in R^{1 \times 4}$和$b^{[2]} \in R^{1 \times 1}$。

神经网络的输出

第1层的计算如下：

z[1]1z[1]2z[1]3z[1]4=w[1]T1x+b[1]1,a[1]1=sigmoid(z[1]1)=w[1]T2x+b[1]2,a[1]2=sigmoid(z[1]2)=w[1]T3x+b[1]3,a[1]3=sigmoid(z[1]3)=w[1]T4x+b[1]4,a[1]4=sigmoid(