机器学习理论问题中的三个方面,模型/策略/算法,优化指的是算法方面求解方法。
min f(x)
在无约束的条件下,主要的优化方法有:
1.梯度下降(gradient descene)
梯度下降分:
1)批量梯度下降(batch gradient descene)
2) 随机梯度下降(stochastic gradient descene)
2.坐标下降(coordient descene)
3.牛顿法
4.拟牛顿法
拟牛顿法主要有:
1)DFP
2)BFGS
3)L-BFGS