fn0914的博客

原创 神经网络参数的反向传播算法

代价函数 反向传播算法 将输出层的误差反向传播到前面的隐藏层 理解反向传播算法 前向传播算法： 梯度检测 通过计算代价函数梯度的估计值，检测是否与反向传播算法计算出来的梯度值相等或近似，从而判断反向传播算法的实现是否正确。 验证反向传播算法正确之后，要关掉梯度检测的代码 随机初始化 若将神经网络中的参数全初始化为0，那么在之后的梯度下降过程...