学习-神经网络

BP网络的过拟合

1. 早停：将数据分成训练集与验证集，训练集来计算梯度，更新连接权和阈值，验证集用来估计误差，若训练集误差降低但验证集误差升高，则停止训练，返回具有最小验证集误差的连接权和阈值。
2. 正则化：在误差目标函数中增加一个用于描述网络复杂度的部分，例如连接权和阈值的平方和。

全局最小和局部最小

试图跳出全局最小的策略

• 以多组不同参数值初始化多个神经网络，按照标准方法训练后，取其中误差最小的解作为最终参数
• 模拟退火算法，在每一步都以一定的概率接受比当前解更差的结果
• 随机梯度下降