神经网络学习笔记

BP神经网络

matlab工具箱函数学习

• feedforwardnet(hiddenSizes,trainFcn)
  hiddenSizes:隐层神经元个数，默认为10
  trainFcn：训练函数，默认为“trainlm”

其他训练函数：

 trainlm--- 中型网络，,内存需求最大,收敛速度最快
 
 trainbfg---BFGS算法（拟牛顿反向传播算法）训练函数；

 traincgb---Powell-Beale共轭梯度反向传播算法训练函数；

 traincgp---Polak-Ribiere变梯度反向传播算法训练函数；

 traingd---梯度下降反向传播算法训练函数；

 traingda---自适应调整学习率的梯度下降反向传播算法训练函数；

 traingdm---附加动量因子的梯度下降反向传播算法训练函数；

 traingdx---自适应调整学习率并附加动量因子的梯度下降反向传播算法训练函数；

 trainrp---RPROP（弹性BP算法）反向传播算法训练函数；、

 trainscg---SCG（scaled conjugate gradient）反向传播算法训练函数

 trainb---以权值/阈值的学习规则采用批处理的方式进行训练的函数

 trainc---以学习函数依次对输入样本进行训练的函数；

 trainr---以学习函数随机对输入样本进行训练的函数.

参数设置：
参考博客

激活函数学习

softmax

这个是众多博客里感觉最和我心意的一个，说清楚了和sigmoid的关系:
函数分类大PK：Sigmoid和Softmax，分别怎么用？
这个挺详细的但没怎么看：
softmax函数详解