机器学习中常用优化方法总结（无约束）

机器学习理论问题中的三个方面，模型/策略/算法，优化指的是算法方面求解方法。

min f（x）

在无约束的条件下，主要的优化方法有：

1.梯度下降（gradient descene）

梯度下降分：

1）批量梯度下降（batch gradient descene）

2) 随机梯度下降（stochastic gradient descene）

2.坐标下降（coordient descene）

3.牛顿法

4.拟牛顿法

拟牛顿法主要有：

1）DFP

2）BFGS

3）L-BFGS