反向传播算法

标准BP算法：每次都是对每个样本进行更新参数，更新频繁，有时对不同的样本进行参数的更新时，可能出现“抵消”的现象。

累积BP算法：每进行完一轮之后再进行更新，直接针对累积误差最小化。、

 

BP神经网络防止过拟合的方法有：

1. 早停法：将数据集分为两个部分，一个部分是训练集，一个部分是验证集。训练集用来计算梯度、更新阈值和连接权。验证集用来估计误差。如果训练集误差降低并且测试集误差提升，则停止训练，并返回具有最小测试误差的连接权和阈值。

2，正则化，在误差目标函数中增加一个用于描述网络复杂度的部分，例如连接权和阈值的平方。