优化算法
经典优化算法
经典优化算法可以分为直接法和迭代法两大类。
直接法能够直接给出优化问题的最优解,但使用它有限制。直接法要求目标函数需要满足两个条件,其一是 L ( ⋅ ) L(\cdot) L(⋅)是凸函数,那么 θ ∗ \theta^* θ∗是最优解的充分必要条件是 L ( ⋅ ) L(\cdot) L(⋅)在 θ ∗ \theta^* θ∗处的梯度为0,即
▽ L ( θ ∗ ) = 0 ▽L(\theta^*)=0 ▽L(θ∗)=0
因此,为了能够直接求解出 θ ∗ \theta^* θ∗,第二个条件是,上式有闭式解。同时满足这两个条件的经典例子是岭回归,其目标函数为
L ( θ ) = ∣ ∣ X θ − y ∣ ∣ 2 2 + λ ∣ ∣ θ ∣ ∣ 2 2 L(\theta)=||X\theta-y||_2^2+\lambda||\theta||_2^2 L(θ)=∣∣Xθ−y∣∣22