本文探讨了机器学习中的优化算法，包括直接法与迭代法。直接法要求目标函数为凸函数且有闭式解，如岭回归。迭代法分为一阶法（如梯度下降法）和二阶法（如牛顿法），其中二阶法通常更快收敛，但也面临计算复杂度和非凸问题的挑战。
优化算法
经典优化算法
经典优化算法可以分为直接法和迭代法两大类。
直接法能够直接给出优化问题的最优解，但使用它有限制。直接法要求目标函数需要满足两个条件，其一是 L ( ⋅ ) L(\cdot) L(⋅)是凸函数，那么 θ ∗ \theta^* θ∗是最优解的充分必要条件是 L ( ⋅ ) L(\cdot) L(⋅)在 θ ∗ \theta^* θ∗处的梯度为0，即
▽ L ( θ ∗ ) = 0 ▽L(\theta^*)=0 ▽L(θ∗)=0
因此，为了能够直接求解出 θ ∗ \theta^* θ∗，第二个条件是，上式有闭式解。同时满足这两个条件的经典例子是岭回归，其目标函数为
L ( θ ) = ∣ ∣ X θ − y ∣ ∣ 2 2 + λ ∣ ∣ θ ∣ ∣ 2 2 L(\theta)=||X\theta-y||_2^2+\lambda||\theta||_2^2 L(θ)=∣∣Xθ−y∣∣22
最低0.47元/天 解锁文章
756
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
