BPNN中的常用传递函数与训练函数总结

compet---竞争型传递函数；
hardlim---阈值型传递函数；
hardlims---对称阈值型传输函数；
logsig---S型传输函数；
poslin---正线性传输函数；
purelin---线性传输函数；
radbas---径向基传输函数；
satlin---饱和线性传输函数；
satlins---饱和对称线性传输函数；
softmax---柔性最大值传输函数；
tanhsig---双曲正切S型传输函数；
tribas---三角形径向基传输函数；


traingd 最速梯度下降算法
收敛速度慢,网络易陷于局部极小,学习过程常发生振荡
traingdm 有动量的梯度下降算法
收敛速度快于traingd
traingdx 学习率可变的BP算法
收敛速度快于traingd,仅用于批量模式训练
trainrp 弹性BP算法
用于批量模式训练,收敛速度快,数据占用存储空间小
traincgf Fletcher-Reeves变梯度算法
是一种数据占用存储空间最小的变梯度算法,且速度通常比traingdx快得多,在连接权的数量很多时,时常选用该算法
traincgp Polak-Ribiére变梯度算法
存储空间略大于traincgp,但对有些问题有较快的收敛速度
traincgb Powell-Beale变梯度算法
性能略好于traincgp,但存储空间较之略大
trainscg 固定变比的变梯度算法
比其他变梯度算法需要更多迭代次数,但无需在迭代中进行线性搜索使每次迭代的计算量大大减小,存储空间与traincgf近似
trainbfg BFGS拟牛顿算法
每次迭代过程所需的计算量和存储空间大于变梯度算法,数据存储量近似于Hessian矩阵,对规模较小的网络更有效
trainoss 变梯度法与拟牛顿法的折中算法
trainlm Levenberg-Marquardt算法
对中等规模的前馈网络(多达数百个连接权)的最快速算法
trainbr 贝叶斯归一化法
可使网络具有较强的泛化能力,避免了以尝试的方法去决定最佳网络规模的大小