3.浅层神经网络

3.1神经网络概述

什么是神经网络

• 神经节点就类似逻辑回归中求z和a的过程
• 上标方括号[ i ]表示第i层，用来区分单个训练样本的圆括号（i）表示第i个训练样本
• 多层的神经网络就需反复计算z和a，最后计算损失函数
• 在逻辑回归中我们用反向传播计算dz da dw db，同样，在神经网络中我们也有类似的反向计算，dz[2],da[2]…。

3.2神经网络的表示

• 我们来看只有一个隐藏层的神经网络（双层神经网络：不算输入层），命名它的各个部分。
  输入特征x1，x2，x3竖向堆叠，（输入层）
  四个圆圈（隐藏层）
  最后一个圆圈（输出层）

• 在一个神经网络中，当你使用监督学习训练它时，训练集包含了输入x还有目标输出y。隐藏层的含义是，在训练集中，这些中间节点的真正数值，我们是不知道的，在训练集你看不到它们的数值，能看到的是输入值和输出值。

• 以前我们用向量x表示输入特征，还有另一种表达方式a[0]，这个a也表示激活的意思，它意味着网络中不同层的值会传递给后面的层。输入层将x的值传递给隐藏层，我们将输入层的激活值称为a[0]。隐藏层产生激活值a[1]，四个隐藏层单元的值如图。输出层，产生一个实数a[2]。这些和逻辑回归类似，在逻辑回归中y^等于a（只有一个输出层）。

3.3计算单个样本神经网络的输出

• 左边逻辑回归：这里的圆圈代表了回归计算的两个步骤
• 右边神经网络：计算上述步骤很多次。看隐藏层的第一个节点，隐去其他节点。节点的左边看做计算z，右边看做计算a，上标代表哪层，下标是代表本层第几个节点。以此类推第2,3,4个节点。