最优化原理（笔记）

内积是线性代数运算的一个结果，一行*一列。

内积的性质！

什么是范数？？？

对称矩阵：关于主对角线对称！

正定对称矩阵：

二阶导是正定的，f(x)就是严格的凸函数！（找全局最小值，而不是驻点）

半正定矩阵

梯度

Hessian矩阵

遗传算法

算法的两个关键步骤是交叉和变异！

凸集的几何意义是：若两个点属于此集合，则这两个点连线上的任意一点均属于此集合。

凸优化，简单的问题，简单的优化问题！

最优化原理---研究生课程！

优化和数学规划：从一个可行解的集合中，寻找出最优的元素。

优化问题的简单分类

根据可行域D划分：

• 无约束优化问题
• 约束优化问题

• 线性规划
• 非线性规划

• 离散最优化问题
• 连续最优化问题

图形处理的优化问题：

图像有噪声，恢复成无噪声的图像！

图像，分片光滑曲面！色块！

TV范数要尽可能小，是图像是分片光滑的。

差分

超大规模集成电路的设计：

将难得问题转换为简单的问题！

单纯型法！！！

线性规划的最优解出现在顶点上或者边上，利用这种性质，可以使用单纯型法！

凸规划/非凸规划

凸函数：

非凸函数：能够找到不相邻的最低的点

任何一个线性规划的问题都是凸函数

难的是非凸的问题

容易的是凸的问题

离散的优化问题是比较难的，非凸的

最短路径的问题：

访问一个网站花费的代价是最小的。

单目标问题/多目标问题

任何一个问题，你能把他清晰的描述出来，就解决了80%。希尔伯特

任何一个问题，您能把他变成一个凸优化，就解决了90%

凸集，凸函数

凸优化

若干算法

数头发，是很耗时的，比较难的，专门有一些算法去研究的。

优化的历史：

牛顿、拉普森：

f(x) = 0 =>min f(x)^2

高数、赛德尔等：

线性方程组 =>min ...

转换为最优化的问题！

拉格朗日：最优化的重要

拉格朗日乘子：一般优化问题都带约束，约束难处理。通过拉格朗日乘子，将约束变成目标。***

凸优化的核心：如何把目标和约束之间的关系找出来。

优化源自打仗！可以节约资源！

动态规划---贝尔曼---解决优化问题的算法

冯诺依曼---博弈论---每个人都要优化自己的目标函数

多目标优化---有一个人优化所有的目标函数

纳什均衡---博弈论的核心---优化中的一块（博弈论和最优化是想通的）

单纯形法---丹齐格---求解线性规划非常巧妙、非常简单的方法

线性规划是凸规划，单纯形法有一定的问题---内敛法（不实用）--->多项式时间的算法--->内点法(IPM)：解决线性规划，尤其是大问题，最有效的方法。

内点法如今已经运用在非凸的领域！

以上内容很难，非优化人员，不需要深究，我们要实现如何运用这些优化的知识。

优化的应用，并不简单！

优化的方法，优化的思路去解决自己的问题！

最优化：从可行解中找出，最优的。

优化变量

凸规划是容易的问题

凸规划：目标函数是凸函数，约束是凸集或若干个凸函数组成的

理论

凸集

凸函数

凸优化问题

对偶理论

无约束优化问题

有约束的优化问题

掉以轻心：120%的努力才能做好！

凸锥

几种凸集：

空集

Rn空间：是仿射集！是凸集！是凸锥！

n维空间的子空间是凸集！

任意的直线是凸集！

任意的线段是凸集！