机器学习（十一）：神经网络的层和前向传播

一、层的计算

下图中，输入层把传入第一层（蓝框），第一层的计算是：

第一个神经元：

第二个神经元： 

第三个神经元：

然后输出激活值：

第一层的激活值传入第二层（蓝框），第二层的计算是：

第一个神经元：，然后输出激活值

最后，根据激活值判断预测值

二、层和激活值的表示

下图的神经网络中，输入层是第0层，中间第1、2、3层也被称为隐藏层，第4层被称为输出层。每层的激活值表示成，也可写为。激活值的计算：，其中，l为层数，g为激活函数。

三、前向传播

前向传播算法（Forward Propagation）：从左到右的前进方向上进行计算。选择神经网络架构时的一个典型选择是，隐藏神经元的数量随着接近输出层而减少。

学习来源：B站吴恩达机器学习，P46-P48