通俗理解前向传播和反向传播

图3：手写数字识别任务的全连接神经网络结构

图4：在处理计算机视觉任务中大放异彩的卷积神经网络

工作原理：

• 前向传播：将训练集数据输入到神经网络的输入层，经过隐藏层，最后到达输出层并输出结果。【输入层—隐藏层–输出层】,输出层的节点数是固定的，如果是回归问题，输出层节点数量为需要回归的数字数量。如果是分类问题，则是分类标签的数量。在该任务中，模型的输出是回归一个数字，输出层的尺寸为1
• 反向传播：由于神经网络的输入结果与输出结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层。【输出层–隐藏层–输入层】
• 权重更新：在反向传播的过程中，根据误差调整每层参数的值；不断迭代上述过程，直至收敛(卷积神经网络更新的是每层不同卷积核矩阵中的每个数值)。
• 激活函数：每两层之间存在一个激活函数，即上一层与下一层之间存在一个函数调用关系。上一层的参数作为激活函数的输入参数，下一层的节点作为激活函数的输出结果。输入参数由激活函数判断结果对应下一层的哪一个节点/神经元/特征。
• 损失函数：Loss用于描述输出层的输出值与真实值得误差大小(预测结果与实际结果得差别)，结果越小预测越准确，精度越高。

举例!!!：

• 前向传播：三个人在玩你画我猜的游戏，然后第一个人给第二个人描述，第二个人再给第三个人描述，由第三个人说出画的到底是啥。
• 反向传播：第三个人得知自己说的和真实答案之间的误差后，发现他们在传递时的问题差在哪里，向第二个人说下次描述的时候怎样可以更加准确，第二个人根据误差调整描述方式后，再给第一个人说。就这样一直向前一个人告知。
• 权重更新：在过三个人磨合过程中，根据上个人的告知不断调整自己的描述方式，直至描述的更加准确。