convex_optimization chapter 1

凸优化第一章学习—part two

接着昨天看的继续学🐾
内容只记录自己觉得感兴趣或者重要的概念

1. 非线性优化
   定义：
   非线性优化非线性优化（或非线性规划）是指当目标函数或约束函数不是线性的，但不知道是凸的时候，用来描述优化问题的术语。 可悲的是，没有有效的方法来解决一般的非线性规划问题。 即使是只有十个变量的简单问题也是极具挑战性的，而只有几百个变量的问题可能是难以解决的。 因此，一般非线性规划问题的方法采取了几种不同的方法，每一种方法都涉及到一些折衷。（也许挑战即机遇🐾）

⚫ Local optimization
找不到全局最优解就找局部最优解，看到了这里我想起在学习的线性回归和SVM（支持向量机）都用到了的梯度下降算法。遗传算法也可能会陷入局部最优。

局部优化方法有几个缺点，除了（可能）找不到真正的全局最优解之外。 这些方法需要对优化变量进行初始猜测。 这种初始猜测或起点是至关重要的，并且可以极大地影响所得到的局部解的目标值。 关于局部解离（全局）最优有多远的信息很少。 局部优化方法往往对算法参数值敏感，可能需要针对某一特定问题或一系列问题进行调整。

其实这段话也好理解，局部最优解不止一个，那么最初选择的位置就很关键了。

2. Global optimization

在全局优化中，找到了优化问题的真正全局解；折衷是效率。 全局优化方法的最坏情况复杂性随着问题大小n和m呈指数增长；希望在实践中，对于遇到的特定问题实例，该方法要快得多。 虽然这种有利的情况确实发生，但并不典型。 即使是有几十个变量的小问题，也需要很长时间（例如，小时或天）才能解决。

3. 两者的联系：

在这本书中，我们主要关注凸优化问题，以及可以归结为凸优化问题的应用。 但凸优化在非凸问题中也起着重要作用。局部优化的初始化一个明显的用途是将凸优化与局部优化方法相结合。 从一个非凸问题开始，我们首先找到一个近似的，但凸的问题的公式。 通过求解这个近似问题，可以很容易地完成，并且没有初始猜测，我们得到了近似凸问题的精确解。 然后将这一点作为局部优化方法的起点，应用于原始的非凸问题

这应该是目前很多算法的基础，例如SVM支持向量机的求解（拉格朗日对偶问题，它在凸优化问题中占据着中心位置），也是将非凸问题转换为近凸问题。这时候感觉非凸问题与凸优化问题联系就很紧密了，数学里从来没有重大的错误，只有不断的修正和扩展。

4. 结语：

事实上，优化中的大分水岭不是线性和非线性之间的，而是凸性和非凸性

第一部分就结束了（害挺秃然的…🐾）前菜已尽，后面才是正餐~