零、范数
1.F范数
一、优化与数学规划
优化等价于数学规划。
凸优化是最优化原理中的一种简单情况。
1. 优化问题定义:
三个要素:可行解集合(约束),定义最优的含义,如何寻找最优的。
等式约束能够转化为两个不等式约束。因此约束只考虑不等式约束
最优解未必只有一个,最优解组成的集合称为“最优解集”
2.生活中的优化问题
2.1数据拟合问题
2.2 线性二次调节器 LQR
凸优化问题。求解方法:里卡提方程
2.3 多能量控制问题
2.4 图像处理
目标函数中的第一项:分片光滑,越小越好,收益项。
目标函数中的第二项:处理前后,像素接近,付出项。
只有第一项的话,最后最优解为ϕ 都为0;只有第二项的话,最优解为ϕ = ϕ0。因此,设计目标函数时,既要有收益项,又要有付出项。
2.5 超大规模集成电路设计
非凸问题–>难。这门课会告诉如何识别难问题。
2.6 最短路径问题
有许多传统算法,如:Dijkstra。
但,转化为优化问题求解:
第一条约束出现了选择问题,通常会比较难。因此对约束进行简化,转化为了线性规划问题。
3.优化问题的划分
3.1线性规划/非线性规划
线性规划:约束函数和目标函数均为线性的。
线性规划解决方法:单纯形法。
线性规划问题的最优解一定在顶点或者边界上 。单纯形法就是利用了这种性质。
线性规划中,可行域的形状就是这种多边形。
每个线上点的求出来的解都是相等的?
3.2 凸优化和非凸优化
凸优化:目标函数是凸函数,约束是凸集或若干个凸集组合。
凸和非凸是对优化求解难度的本质划分。凸优化容易解决。
凸函数简单判断:无法找到不相邻的最低点。
非凸函数简单判断:可以找到不相邻的最低点。
3.3 光滑/非光滑 连续/离散
单目标/多目标优化
帕累托最优。
常见方法:多目标加权
4. 主要内容
5.发展历史
二、凸集 Convex Sets
1. 仿射集
1.子空间
对仿射集(所有点)进行平移( x − x 0 x - x_{0} x−x0),得到新的集合,该集合也是仿射集,叫做原仿射集的子空间,且对于任意的 α \alpha α和 β \beta β, α x 1 + β x 2 \alpha x_{1} + \beta x_{2} αx1+βx2也在该集合内。不再局限于 α x 1 + ( 1 − α ) x 2 \alpha x_{1} + (1- \alpha)x_{2} αx1+(1−α)x2 。 x 0 x_{0} x0可以任选,该集合一定经过远点,因为,原来的仿射集肯定有一个点,经过 x 0 x_{0} x0。
1.2 线性方程组的解集也是仿射集
θ x 1 + ( 1 − θ ) x 2 \theta x_{1} + (1- \theta)x_{2} θx1+(1−θ)x2 属于集合 C C C的话,就也 A x = b Ax = b Ax=b方程组的解