反向传播和其他微分方法(一)
反向传播和其他微分方法§引入当我们使用前馈神经网络接收输入并产生输出时,信息通过网络向前流动。输入提供初始信息,然后传播到每一层的隐藏单元,最终产生输出。这称之为前向传播(forward propagation)。在训练过程中,前向传播可以持续向前直到它产生一个标量代价函数。反向传播(back propagation)算法,经常简称为backprop,允许来自代价函数的信息通过网络向后流动,以便计算梯度。计算梯度的解析表达式是很直观的,但是数值化地求解这样的表达式在计算上可能是昂贵的。反向传播算法使用
复制链接