凸优化入门

主要的目录

1-2：推荐书目，引言，常见例子，优化问题分类，发展史
3-4：仿射/凸/凸锥 + 集/组合/包
5-6：几种重要的凸集:超平面与半空间/球和椭球/多面体/单纯形/对称(半)(正定)矩阵
7-8：凸集的交集，保凸运算：仿射函数/缩放和移位/透视函数/线性分段函数
9-10：（9缺）凸函数的定义1/定义2/定义3，凸函数的扩展
11-12：凸函数定义2补充/定义4，常见例函数的凸性：二次函数/仿射函数/指数函数/幂函数/绝对值的幂函数/对数函数/负熵/范数/零范数/极大值函数/log-sum-up函数
13-14：函数凸性：极大值函数/log-sum-up函数/几何平均/行列式对数；保持函数凸性：非负加权和/仿射映射/两函数的极大值函数/无像个凸函数的极大值
15-16：复合函数保凸的条件，函数的透视：欧几里得范数的平方/负对数/K-L散度，函数的共轭
17-18：复合函数保凸条件，函数的共轭，α-sublevel set，拟凸函数
19-20：（课堂小测1），向量零范数的松弛形式，可微拟凸函数的一阶条件和二阶条件，对数凹函数/对数凸函数
21-22：可微拟凸函数的一阶条件的充分性证明，凸问题：域/可行解集/最优值/最优解(集)/ε次优解集/局部最优解/可行性优化问题，凸问题的等价形式（举例）
23-24：凸优化问题，凸优化约束的降维和升维（松弛变量），拟凸优化问题，凸问题局部最优等于全局最优，可微目标函数情况下的最优解（画图举例），三个名人的故事
25-26：凸问题的等价变换，营养食谱问题，线性分数规划，二次规划，QCQP，回归问题下x稀疏时的LASSO（引入X=X+ + X-）
27-28：投资组合问题的形式，半正定规划问题，谱范数，多目标优化问题：pareto最优面，多目标问题①的转化（单目标问题②和带约束的单目标问题③）
29-30：对偶性，Lagrange函数，Lagrange函数的凹性，对偶函数与函数共轭的关系，(P)对偶函数的对偶函数仍未(P)

只会介绍2，3，4，5，9，10章节的《凸优化》的书籍内容。

 

1

1.1   介绍凸优化的一般格式

1. 2   凸优化的两个例子：

•    数据拟合
•    线性二次调节器
•   图像处理
•   最短路径问题
•    

都可以写成凸优化问题。

1.3    优化问题分类

非线性优化、线性规划问题。或者分为凸规划和非凸规划、或者单目标或者多目标问题。

 

1.4   凸优化主要内容

1 凸集、凸函数

2 凸优化

3  若干算法

 

2   优化基本概念

2. 1  仿射集，仿射组合，两者等价

仿射集的定义：

仿射集的例子比如：直线是仿射集；线段不是仿射集；二维空间是仿射集；在二维空间中选定取值范围，该范围不是仿射集。

仿射集和仿射组合式等价的。

例子： 线性方程组的解集是仿射集。

仿射包(affine hull)是由实线性空间中的集合所生成的仿射集，设A为实线性空间X中的集合，那么包含A的最小仿射集称为A的仿射包。它是所有包含A的仿射集的全体的交集，也是A中的元素的不断用直线连结后的元素全体，A的仿射包通常记为aff A

问题：给定任意一个集合c cc，如何构造尽可能小的仿射集？我们通过定义仿射包来构建仿射集，这是个大杀器。

1  这个用处很大啊，可以从任意集合中。找到一个仿射集，那不就是一个凸集的取值范围了吗？

2  对于深度学习来说，根本没有凸集的概念，因为参数刚开始都是随机赋值的，这就指导我们考虑是否有很好的指导意见来构造最小凸包，也就是参数的搜索空间变小。

 

2.2  锥，凸锥

 

 

2.3  几种重要的凸集

 

2.4  超平面和半空间

所在n维空间中的n-1维度的东西，可以由

 

2.5    球和椭球/多面体/单纯形/对称(半)(正定)矩阵

 

 

1  为什么走来要定义凸集的概念呢？

2  中间的问题实在是太多了？  以此定义凸集、凸函数、凸优化的详细定义。

3  全靠假设和实验才能够撑起来论文，深度学习的。

 

 

 

 

 

2.3  保凸运算

 

 

 

 

参考：

https://www.bilibili.com/video/av29071445/?p=1

b站中科大凸优化视频。书籍参考《凸优化》

https://pan.baidu.com/s/108jZ6Ms2DsZD1SDrx75w6g 密码:04b0

上面中科大凸优化的对应板书

https://blog.csdn.net/lzldhhaha/article/details/76382962

深度学习跟凸优化的联系

https://www.zhihu.com/zvideo/1248996886737731584

从凸优化到非凸优化，凸优化理论与方法：从凸到非凸，