浅层结构模型:
1:梯度下降算法
2:对比散度算法
3:最大似然估计法
4:牛顿法和拟牛顿法
5:共轭梯度法
6:最小二乘法
7:拉格朗日乘数法(有约束)
深度学习模型:
1:momentum 动量法
2:Nesterov accelerated gradient(NAG)
3:AdaGrad
4:RMSProp
5:AdaDelta
6:Adam
参考:
[1]https://blog.csdn.net/owen7500/article/details/51601627
[2]https://blog.csdn.net/SumResort_LChaowei/article/details/79525698