以下来源于百度百科
BP算法由信号的正向传播和误差的反向传播两个过程组成。
正向传播时，输入样本从输入层进入网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出(导师信号)不同，则转至误差反向传播；如果输出层的实际输出与期望输出(导师信号)相同，结束学习算法。
反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。
权值和阈值不断调整的过程，就是网络的学习与训练过程，经过信号正向传播与误差反向传播，权值和阈值的调整反复进行，一直进行到预先设定的学习训练次数，或输出误差减小到允许的程度。
总结：利用BP算法求解梯度，然后利用梯度下降法优化参数，得到损失函数的最小值。
以下内容来自知乎
最小二乘就是求偏导求极值。
梯度下降法是求通过代价函数，参数迭代求得参数值
总结：梯度下降法相对于最小二乘来说，计算量小一些。
参考资料：
104
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
