凸优化教程学习与理解（mark）

1. 什么是凸优化

凸优化，顾名思义，就是一种优化问题的求解方法。凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用，如次导数等。

1.1 优化问题的一般形式

从优化或者数学优化的角度来说，优化问题就是从一个可行解的集合中找到最优元素。其一般形式可表示为如下所示，主要包括优化变量、目标函数、约束条件以及可行解集中的最优解。

举两个栗子：
1.寻找极值

2. 寻找最优拟合参数

3. 最短路径问题
这里巧妙的利用权值x(0,1)来控制是否取这一段路径。

1.2 优化问题的几种分类

想要了解什么是凸优化，先对优化问题做一个简单的分类，如：

1.2.1. 早期划分为线性规划和非线性规划；

1.2.2 凸规划和非凸规划;

1.2.3 光滑/非光滑（针对目标函数

1.2.4 连续或离散

可行域是一个连续的区域还是离散的网格点之类的

1.2.5 单目标与多目标优化问题

Pareto最优（前沿）：即改变一个参数，并不能在不影响（降低）其他性能的基础上，提升某个方面的性能。

1.2.6 凸优化定义

广义定义：凸目标函数、凸约束集。

1.2.7 凸优化适用性

1）解一些比较容易的问题，包括：凸问题、单目标问题、光滑问题等等。
2）能将一些实际问题构造成上述容易的问题类型。
3）容易和难指的是求解最优值的难易。

1.3 凸优化例子

凸优化问题，或可以通过改变变量而转化为凸优化问题：

• 最小二乘
  最小二乘问题是无约束的优化问题，通常可以理解为测量值与真实值之间的误差平方和。
  

• 线性规划
  线性规划也是一种典型的凸优化问题，常用解决方法是内点法，例子详见【2】

• 线性约束的二次规划
  二次规划(QP)是求解一种特殊的数学优化问题的过程——具体地说，是一个(线性约束)二次优化问题，即优化(最小化或最大化)多个变量的二次函数，并服从于这些变量的线性约束。二次规划是一种特殊的非线性规划。
  常用解法包括：积极集法、内点法。

参考文献资料

【1】 https://blog.csdn.net/qq_41485273/article/details/113546843
【2】 线性规划的数学推导和Python实现
【3】凌青-中科院凸优化