本文探讨了神经网络中的BP算法，重点在于其组成部分：向前传播和反向传播。反向传播利用梯度下降法修正权重，以减少预测值与真实值之间的误差。通过计算损失函数对权重的偏导数，确定权重更新的方向，从而优化网络性能。学习率在权重更新中的作用是控制调整步长，确保成本函数朝着减小的方向变化。
最开始学习神经网络，感触最深的就是BP算法，当时只用到却没有好好体会它背后的深意，在RNN中也会用到一个类似的算法（BPTT下面会具体讲）。对神经网络有些了解，就会熟悉BP算法由两个部分组成，向前传播和反向传播。
向前传播从输入层经过隐藏层到输出层，给出预测结果，在第一次传输过程中，使用到的权重（或者说参数）都是最开始随机初始化的，可想而知这样随机初始化的权重，最后得到的结果，与真实值的误差一定是很大的。
那么神经网络要做的一件事其实就是得到与真实值相近甚至一样的预测值，那么就把问题指向了如何修正这些权重值，才能使得预测值接近真实值。这就有了代价函数，计算真实值和预测值之间的误差，以这个误差为基准，进行BP的第二个部分，反向传播。这个过程的核心就是梯度下降法，求每个权重对应误差的偏导数值，以此作为修正权重的依据。不知道大家有没有思考过，为什么反向传播要求L对W的导数呢？（L值代价，W是权重）
反向传播的意义是，修正权重并且缩小cost值，权重更新公式是 W = W - Learning_rate * dw
求导就保证了，参数的更新是朝着正确的方向，也就是使cost缩小的方向进行的，
这个图是过于简单了，但只是为了说明问题，就不用计较这些细节了。图一如果co
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
