来源https://www.ilovematlab.cn/thread-51000-1-1.html
模式 | 算法 | 备注 |
traingd | 最速梯度下降算法 | 收敛速度慢,网络易陷于局部极小,学习过程常发生振荡 |
traingdm | 有动量的梯度下降算法 | 收敛速度快于traingd |
traingdx | 学习率可变的BP算法 | 收敛速度快于traingd,仅用于批量模式训练 |
trainrp | 弹性BP算法 | 用于批量模式训练,收敛速度快,数据占用存储空间小 |
traincgf | Fletcher-Reeves变梯度算法 | 数据占用存储空间最小的变梯度算法,速度比traingdx快得多,连接权的数量很多时,常用该算法 |
traincgp | Polak-Ribiére变梯度算法 | 存储空间略大于traincgp,但对有些问题有较快的收敛速度 |
traincgb | Powell-Beale变梯度算法 | 性能略好于traincgp,但存储空间较之略大 |
trainscg | 固定变比的变梯度算法 | 需要更多迭代次数,但无需在迭代中进行线性搜索,每次迭代的计算量大大减小,存储空间与traincgf近似 |
trainbfg | BFGS拟牛顿算法 | 每次迭代过程所需的计算量和存储空间大于变梯度算法,数据存储量近似于Hessian矩阵,对规模较小的网络更有效 |
trainoss | 变梯度法与拟牛顿法的折中算法 | |
trainlm | Levenberg-Marquardt算法 | 对中等规模的前馈网络(多达数百个连接权)的最快速算法 |
trainbr | 贝叶斯归一化法 | 可使网络具有较强的泛化能力,避免了以尝试的方法去决定最佳网络规模的大小 |