BP learning算法简单推导

从后向前逐层更新网络的参数集合。
求解优化问题： 其中：

BP的改进：可以通过改进连接方式、改进训练样本、改进损失函数、改进学习速率进行优化。
改进连接方式：稀疏局部连接策略和权重共享策略。
改进训练样本：规范化训练样本、适当扰动训练样本。
改进损失函数：改进前馈网络整体损失函数
改进学习速率：增加动量项和陡度因子和可变学习速率的策略。

算法缺点：
1 训练过程中容易过拟合，不可避免地存在局部最小值问题，优化的非线性函数越复杂，存在的局部最小点就越多，优化算法很有可能就直接收敛到局部最小点。
2 在多隐层的前馈网络中，误差梯度反向从后向前传播，前隐层网络参数更新量小，更新缓慢，优化过程非常缓慢。
3 由于超参数的设置多样化，训练过程存在不稳定性。
4 BP算法使用的前馈网络在设计结构时缺乏统一而完整的理论指导。