B P 网络的批处理训练模式

B P 网络的批处理训练模式- 梯度下降法
如果应用 梯度下降法训练函数, 需要在训练之前将 网 络 构 成 函 数 的相 应 参 数 t rainF cn 设 置 为traingd。 与函数 traing d 相关的训练函数有: epochs、g oal、 lr、 max_fail、 min _ grad、 show、 t ime, 如果不设置就表示应用 内 定缺省值。 在训练过程中, 只 要满足以下条件之一, 训练就会停止:

1. 超过最大迭代次数 epochs。 
2. 表现函数值小于误差指标 goal。
3. 梯度值小于要求精度 min _ grad。
4. 训练所用时间超过时间限制 time。
5. 最大失败次数超过次数限制 max_fail。

BP 网络的批处理训练模式- 改进的 B P 算法
BP 算法的主要缺点是: 收敛速度慢、局部极值、难以确定隐层和隐层节点数。 在实际应用 中, BP 算法很难胜任, 因此出现了许多改进算法。 B P 算法的改进主要有两种, 一种是启 发式学习 算法, 另一种则是采用更有效的优化算法。 启 发式学习 算法, 就是对表现函数梯度加以分析, 从而改进算法, 包括: 有动量的梯度下降法( traingdm ) 、 有自 适应 lr 的梯度下降法( traingda) 、有动量和自 适应 lr 的梯度下降法( t raing dx) 和能复位的 B P 训练法( trainrp) 等。 基于数值最优化理论的训练算法有: 共轭梯度法、高斯-牛顿法等。