反向传导算法笔记

反向传播算法的思路如下：给定一个样例 ，我们首先进行“前向传导”运算，计算出网络中所有的激活值，包括  的输出值。之后，针对第  层的每一个节点 ，我们计算出其“残差” ，该残差表明了该节点对最终输出值的残差产生了多少影响。对于最终的输出节点，我们可以直接算出网络产生的激活值与实际值之间的差距，我们将这个差距定义为  （第  层表示输出层）。对于隐藏单元我们如何处理呢？我们将基于节点（译者注：第  层节点）残差的加权平均值计算 ，这些节点以  作为输入。