优化方法与实践-第一次课程

第一次课程-最优化理论基础

1.1 最优化问题的数学模型

几乎所有类型的最优化问题都可以用下面的数学模型来描述：
$$\begin{gathered} minf\left(x\right) \\ s.t.x\in K \end{gathered}$$
这里，K称为可行集或可行域，$f(x)$是定义在K上的目标函数，$x$被称为决策变量。
按照可行集的性质对最优化问题进行分类：

• 线性规划和非线性规划：可行集是有限维空间中的一个子集；
• 组合优化或网络优化：可行集中元素是有限的；
• 动态规划：可行集是一个依赖时间的决策序列；
• 最优控制：可行集是无穷维空间的一个连续子集。

这里主要考虑非线性规划：
$$\begin{gathered} minf\left(x\right) \\ s.t.h_i\left(x\right)=0,i=\mathrm{1...}l \\ {g}_i\left(x\right)\ge 0,i=\mathrm{1...}m \end{gathered}$$
$h_i(x)$（等式约束）和$g_i(x)$（不等式约束）被称为约束函数。通常把目标函数为二次函数，而约束函数为线性函数的优化问题称为二次规划；目标函数和约束函数均为线性函数的优化问题称为线性规划。

1.2 向量和矩阵范数

向量范数

向量$x$的范数$||x||$是一个非负数，它必须满足以下条件：

1. $||x||\ge 0,||x||=0\iff x=0$;
2. $\lambda ||x||=|\lambda |||x||,\lambda \in R$;
3. $||x+y||\le ||x||+||y||$

常用的向量范数有：
1-范数：$||x|{|}_1={\sum }_{i=1}^n|x_i|$;
2-范数：$||x|{|}_2=({\sum }_{i=1}^n|x_i{|}^2{)}^{\frac{1}{2}}$;
$\infty$-范数：$||x|{|}_{\infty }=ma{x}_{1\le i\le n}|x_i|$。

矩阵范数

矩阵$A$的范数是一个非负实数，它除了要满足与与向量范数相似的三条性质外，还需要具备乘法法则：

4. $||AB||\le ||A||||B||$

常用的矩阵范数有：
行和范数：$||A|{|}_{\infty }=ma{x}_{1\le i\le n}{\sum }_{j=1}^n|a_{ij}|$;
列和范数：$||A|{|}_1=ma{x}_{1\le j\le n}{\sum }_{i=1}^n|a_{ij}|$;
谱范数：$||A|{|}_2=max\left\{\sqrt{\lambda }|\lambda \in \lambda \left(A^{T}A\right)\right\}$。
在讨论向量序列和矩阵序列的收敛性是，常用谱范数和下式定义的F-范数：
$$||A|{|}_F={\left(\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}^2\right)}^{\frac{1}{2}}=\sqrt{tr\left(A^{T}A\right)}$$

向量序列和矩阵序列的收敛性

向量序列收敛性：
$$\underset{k\to \infty }{\lim }{x}^{(k)}=x\leftrightarrow \underset{k\to \infty }{\lim }{x}_i^{(k)}=x_{i}i=\mathrm{1...}n$$
用向量范数来描述：
$$\underset{k\to \infty }{\lim }{x}^{(k)}=x\iff \underset{k\to \infty }{\lim }||x^{(k)}-x||=0$$
类似的，矩阵序列收敛性：
$$\underset{k\to \infty }{\lim }{A}^{(k)}=A\iff \underset{k\to \infty }{\lim }{a}_{ij}^{(k)}=a_{ij}i=\mathrm{1...}n$$
用矩阵范数来描述：
$$\underset{k\to \infty }{\lim }{A}^{(k)}=A\iff \underset{k\to \infty }{\lim }||A^{(k)}-A||=0$$

向量范数及矩阵范数的等价定理

• 对于两个向量范数$||\cdot ||$和$||\cdot |{|}^{\prime }$，存在两个正数$c_1$，$c_2$，对于所有$x$，下式恒成立：
  $$c_1||x||\le ||x|{|}^{\prime }\le c_2||x||$$

• 对于两个矩阵范数$||\cdot ||$和$||\cdot |{|}^{\prime }$，存在两个正数$m_1$，$m_2$，对于所有$A$，下式恒成立：
  $$m_1||A||\le ||A|{|}^{\prime }\le m_2||A||$$

1.3多元函数的梯度、Hesse矩阵、Jcobi矩阵

设有n元实函数$f(x)$，其中自变量$x=(x_1,...,x_n{)}^T$，则其梯度为：