优化算法-无约束优化

无约束优化的常见算法

无约束优化问题可以表示为：

$min_{\theta} L(\theta)$

其中目标函数 $L(\cdot)$ 是光滑的。如何针对不同的目标函数，不同的应用场景求解一个无约束优化问题是机器学习领域的关注点。

经典的优化算法可以分为直接法和迭代法两大类。

直接法

直接法，就是能够直接给出优化问题的最优解的方法，这种方法能够通过一个解析式直接求出对应的最优解。但是有一系列的约束使得这种方法并不能广泛适用。

直接法要求目标函数具有两个条件：

（1）$L{\cdot}$ 是凸函数，如果$L{\cdot}$ 是凸函数，则 $ \theta^{*}$ 是最优解的充分必要条件是 $L{\cdot}$ 在 $ \theta^{*}$ 处的梯度为 0。即

$\triangledown L(\theta^{*}) = 0$

（2）为了能够直接求解出 $ \theta^{*}$，需要上式有闭式解（解析解）。

而同时满足上述两个条件的经典的模型是岭回归（带正则化项的线性回归）&#