武汉理工大学-最优化理论与方法-复习指南

武汉理工大学-最优化理论与方法-复习指南

制作：纪元

本提纲遵循CC-BY-NC-SA协议

(署名-非商业性-相同方式共享)

README

本提纲根据PPT9进行整理总结，主要收录了重要定义和算法（加粗部分）

考试内容请以卷面呈现效果为准

最优化概述

线性规划

在上述例子中,有的目标函数和约束函数都是线性的,称之为线性规划问题

而有的模型中含有非线性函数,称之为非线性规划

在线性与非线性规划中,满足约束条件的点称为可行点

全体可行点组成的集合称为可行集或可行域

如果一个问题的可行域是整个空间,则称此问题为无约束问题

最优解

设 $f(x)$ 为目标函数，$S$ 为可行域，$x_0\in S$，若对每一个 $x\in S$，成立 $f(x)\ge f(x_0)$，则称$x_0$为极小化问题 $minf(x)$，$x\in S$ 的**（整体）最优解**。

设 $f(x)$ 为目标函数，$S$ 为可行域，若存在$x$的$\epsilon$邻域 N ε ( x 0 ) = { x ∣ ∥ x − x 0 ∥ < ε , ε > 0 } N_\varepsilon(x_0)=\{x| \|x-x_0\|<\varepsilon,\varepsilon>0\} Nε​(x0​)={x∣∥x−x0​∥<ε,ε>0}，使得对每个$x\in S\cap N_{\epsilon }(x_0)$，成立 $f(x)>f(x_0)$，则称$x_0$为极小化问题 $minf（x）,x\in S$ 的 局部最优解

线性空间和范数

求解向量范数

对任意$x=(x_1,x_2,\dots ,x_n)\in C^n$，由
$$\Vert x{\Vert }_p{\equiv }^p\sqrt{\left({\Sigma }_{i=1}^n)|x_i{|}^p\right)}$$
定义的$\Vert \cdot {\Vert }_p$是$F^n$上的向量范数，称为$p$范数或$l_p$范数或 Holder范数

极限

如果序列$x_n$与常数$a$有下列关系：

$\forall$ 正数$\epsilon$（不论它多么小），$\exists$正整数$N$，使得对于$\forall x_n$($n>N$)，不等式
$$|x_n-a|<\epsilon$$
都成立，则称常数$a$是序列$x_n$的极限，或者称序列$x_n$收敛于$a$。

记为：
$$li{m}_{n\to \infty }{x}_n=a$$
或：
$$x_n\to a(n\to \infty )$$

方向导数存在性

函数的增量$f(x+\Delta x,y+\Delta y)-f(x,y)$与$PP’$两点间的距离$\rho =\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$之比值，当$P^{\prime }$沿着$l$趋于$P$时，如果此比的极限存在，则称这极限为函数在点$P$沿方向$l$的方向导数。

方向导数求法

前提条件：如果函数$x=f(x,y)$在点$P(x,y)$可微分，那么函数在该点沿任意方向的方向导数都存在。
$$\frac{\partial f}{\partial l}=lim\frac{f(x+\Delta x),(y+\Delta y)-f(x,y)}{\rho }$$

$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}cos\phi +\frac{\partial f}{\partial y}sin\phi$$

其中𝜑为x轴到方向l的转角

梯度

通俗描述：是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。

设函数$f(x,y)$在平面区域$D$内具有一阶连续偏导数，则对每一点$P(x_0,y_0)\in D$，都可以定出一个向量$f_x(x_0,y_0)i+f_y(x_0,y_0)j$ 称为$f(x,y)$在$P$点处的梯度，记作$▽f(x_0,y_0)$

函数在某点梯度的求法

函数的海森矩阵

通用计算公式：
$$[{▽}^{2}f(x){]}_{if}\equiv \frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}$$
二元函数的海森矩阵计算公式：
$$\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}=\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}$$

映射的雅各比行列式

若在n维欧式空间中的一个向量映射成m维欧式空间中的另一个向量的对应法则为F，F由m个实函数组成，即：

那么雅可比矩阵是一个$m\times n$矩阵：

函数的泰勒展开

方法1

直接使用定义：
$$f(x)={\Sigma }_{i=0}^n\frac{f^{(}i)(x_0)}{i!}(x-x_0{)}^i$$

方法2

求函数在$x_0$点的$n$阶泰勒展开式：

1. 写出$g(x)=a_0+a_{1}x+a_2{x}^2+...+a_n{x}^n$
2. 对于所有$1\le i\le n$求出：$f^i(x_0)=g^i(x_0)$
3. 代入求解即可

凸集和凸函数

凸集的定义

对于n维空间中点的集合C，如果对集合中的任意两点x和y，以及实数$0\le \theta \le 1$，都有
$$\theta x+(1-\theta )y\in C$$
则称该集合称为凸集。

凸集的性质

1. 多个凸集的交集还是凸集
2. 如果每个等式或者不等式约束条件定义的集合都是凸集，那么这些条件联合起来定义的集合还是凸集
3. 凸集的并集并不一定是凸集

凸函数的定义

在函数的定义域内，如果对于任意的X和y，以及实数$0<\theta <1$，都满足如下条件
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$
则函数为凸函数。当式中不含等号时，为严格凸函数。

凸函数的判断

1. 使用定义判断
2. 对于一元函数，凸函数的判定规则为：其二阶导数大于等于0，即$f^{\prime \prime }(x)\ge 0$
3. 对于多元函数，如果它是凸函数，则其Hessian矩阵为半正定矩阵

4. 设$D\in R^n$为非空开凸集，f(x)是定义在D上的可微函数，则f(x)是凸函数的充分必要条件是：

$$f(y)\ge f(x)+▽f(x{)}^T(y-x)$$

正定矩阵

给定一个大小为n×n的实对称矩阵A，若对于任意长度为n的非零向量x有$x^{T}Ax>0$恒成立，则矩阵A是一个正定矩阵。

半正定矩阵

给定一个大小为n×n的实对称矩阵A，若对于任意长度为n的向量x，有$x^{T}Ax\ge 0$恒成立，则矩阵A是一个半正定矩阵。

矩阵正定与半正定的判断

1. 给定一个大小为$m\times n$的实对称矩阵$A$，若对于任意长度为$m$的非零向量$x$，有$x^{T}Ax>0$恒成立，则矩阵$A$是一个正定矩阵。
2. 给定一个大小为$m\times n$的实对称矩阵$A$，若对于任意长度为$m$的非零向量$x$，有$x^{T}Ax\ge 0$恒成立，则矩阵$A$是一个半正定矩阵。

函数的极值点判断

1. 如果Hessian矩阵正定，函数在该点有极小值
2. 如果Hessian矩阵负定，函数在该点有极大值
3. 如果Hessian矩阵不定，则不是极值点（鞍点）

线性规划

凸优化问题

如果一个最优化问题的可行域是凸集，并且目标函数是凸函数，则该问题为凸优化问题。

$$\begin{gathered} minf(x) \\ x\in C \end{gathered}$$
其中x为优化变量；f为凸目标函数；C是优化变量的可行域，是一个凸集。

此时局部最优解一定是全局最优解。

解的基本定理

1. 线性规划问题的可行域是凸集（凸多边形）。
2. 最优解一定是在凸集的某一顶点实现（顶点数目不超过$C_n^m$个）。
3. 先找一个基本可行解，与周围顶点比较，如不是最大，继续比较，直到找出最大为止。

解的分类

1. 可行解：满足约束条件的解为可行解。所有解的集合为可行解的集或可行域。
2. 最优解：使目标函数达到最大值的可行解。线性规划问题的解
3. 基本解：只满足等式约束条件，但不满足其他条件的所有解，最多为$C_n^m$个。
4. 基本可行解：满足非负约束条件的基本解，简称基本可行解

图解法

略

标准型的化法

1. 检查约束条件符号，保证为等号
   • 如果为$\ge$，添加松弛变量$-y(y\ge 0)$
   • 如果为$\le$，添加松弛变量$+y(y\le 0)$
2. 检查所有约束条件，保证不等式右边实数非负。
   • 如果是负数，两边加负号变号即可
3. 检查变量范围是否均大于零
   • 如果$x\le 0$，用$y=-x,(y\ge 0)$代替
   • 如果$x$无约束，用$y2-y1=x,(y_1,y_2\ge 0)$代替
4. 检查目标函数，保证为Max，并拥有所有未知量
   • 如果是Min，加负号变号即可
   • 缺少的未知量，补0系数即可

单纯形法及单纯形表的使用

详见PPT9：44-48页

线性规划的对偶问题

对偶问题的转换方法

1. 规范化：将约束条件变为$Max,\le$或$Min,\ge$形式

   • $=$化为$\ge$和$\le$两个式子，再变一个号
   • 其他符号直接变号

2. 按照表格的对应规则进行转化：

单纯形表解对偶问题

类似于单纯形表解原问题，但结果是$[{\sigma }_1...{\sigma }_n]$而不是$[b_1...b_n]$

对偶定理

1. 定理3-1 (弱对偶定理）
   • 若 x, y 分别为（LP，max) 和（DP，min）的可行解，则cTx ≤ bTy
2. 定理2 (最优性准则定理)
   • 若x,y分别(LP),(DP)的可行解,且cTx=bTy ，那么x,y分别为(LP)和(DP)的最优解。
3. 定理3 (主对偶定理)
   • 若(LP)和(DP)均可行 那么(LP)和(DP)均有最优解,且最优值相等。以上定理、推论对任意形式的相应性规划的对偶均有效

整数规划的一般方法

1. 分支定界法
2. 割平面法
3. 匈牙利法（指派问题）

无约束优化

最优化问题的表示

$$mi{n}_{x\subset R_n}f(x)$$

全局最优解

$$\forall x\subset R^n,f(x^{\ast })\le f(x)$$

局部最优解

存在$x^{\ast }$的邻域
N ε ( x ∗ ) = { x ∣ ∥ x − x ∗ ∥ < ε , ε > 0 } ， ∀ x ∈ N ε ( x ∗ ) ， f ( x ∗ ) ≤ f ( x ) N_{\varepsilon}(x^*)=\{x|\|x-x^*\|<\varepsilon,\varepsilon>0\}， \forall x∈N_{\varepsilon}(x^*)，f(x^*)≤f(x) Nε​(x∗)={x∣∥x−x∗∥<ε,ε>0}，∀x∈Nε​(x∗)，f(x∗)≤f(x)

最优性条件

最优性条件是最优化问题的最优解（局部的或全局的）所必须满足的条件

常用的有一阶必要条件和二阶必要条件.：

• 凸函数的充分必要条件
• 下降方向的充要条件
• 一阶必要条件
• 二阶充要条件

进退试算法确定搜索区间

1. 给定初始点$a_0$和初始步长$h$

2. 将$a_0$及$a_0+h$代入目标函数$f(x)$进行计算并比较大小

   • 若$f(a_0)>f(a_0+h)$，则表明极小点在试算点的右侧，需做前进试算。
     • 在做前进运算时，为加速计算，可将步长$h$增加2倍，并取计算新点为$a_0+h+2h=a_0+3h$
     • 若$f(a_0+h)\le f(a_0+3h)$则所计算的相邻三点的函数值已具“高-低-高”特征，这时可确定搜索区间 $a\equiv a_0，b\equiv a_0+3h$
     • 否则，将步长再加倍，并重复上述运算。

• 若$f(a_0)<f(a_0+h)$，则表明极小点在试算点的左侧，需做后退试算。
  • 在做后退运算时，应将步长变为$-h$，并从点$a_0$出发，得到后退点为$a_0-h$
  • 若$f(a_0-h)>f(a_0)$，则搜索区间可取为$a=a_0-h，b=a_0+h$
    • 否则，将步长加倍，继续后退，重复上述步骤，直到满足单峰区间条件为止。

黄金分割法

特征：题目给出两个起始点

1. 找到区间的左右极限$x_1,x_2$
2. 求出$f(x_1),f(x_1+0.382(x_2-x_1)),f(x_1+0.618(x_2-x_1)),f(x_2)$的值$y_1,y_2,y_3,y_4$
3. 找到满足**“高低高”**的最小区间
4. 如果区间长度小于$\epsilon$，结束计算，输出$0.5\times (x_{高1}{x}_{高2})$，如果大于，重复$1-3$

牛顿法

特征：题目给出一个起始点

1. 计算$x_{n+1}=x_n-\frac{f^{\prime }(x_n)}{f^{\prime \prime }(x_n)}$
2. 如果$x_{n+1}-x_n$长度小于$\epsilon$，结束计算，如果大于，重复$1$

阻尼牛顿法

1. 计算$\alpha =minf(x_n+\alpha \frac{f^{\prime }(x_n)}{f^{\prime \prime }(x_n)})$
2. 计算$x_{n+1}=x_n+\alpha \frac{f^{\prime }(x_n)}{f^{\prime \prime }(x_n)}$
3. 如果$x_{n+1}-x_n$长度小于$\epsilon$，结束计算，如果大于，重复$1-2$

特点

1. 初始点应选在$X^{\ast }$附近，有一定难度；
2. 尽管每次迭代都不会是函数值上升，但不能保证每次下降 ；
3. 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向；
4. 不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。此外，对于二阶不可微的F(X)也不适用。
5. 特定条件下它具有收敛最快的优点

抛物线法

特征：题目给出三个起始点

1. 计算
   $$x_4=\frac{(x_1^2-x_2^2)f_3+(x_2^2-x_3^2)f_1+(x_3^2-x_1^2)f_2}{2(x_1-x_2)f_3+(x_2-x_3)f_1+(x_3-x_1)f_2}$$

2. 计算$f(x_1),f(x_2),f(x_3),f(x_4)$的值$y_1,y_2,y_3,y_4$

3. 找到满足**“高低高”**的最小区间

4. 如果区间长度小于$\epsilon$，结束计算，输出$0.5\times (x_{高1}{x}_{高2})$，如果大于，重复$1-3$

最速下降法

1. 设步长$\alpha$，求出梯度$▽f(x_n)=[x_1,x_2...x_n]$，写出$x_{n+1}=x_n-\alpha ▽f(x_n)$
2. 写出$f(x_1)$，并求出$\alpha$使$f^{\prime }(x_{1+n})=0$
3. 求出$▽f(x_{n+1})=[x_1^{\prime },x_2^{\prime }...x_n^{\prime }]$
4. 如果$\Vert ▽f(x_{n+1})\Vert =\sqrt{{\Sigma }_{i=1}^N{x_i^{\prime }}^2}$小于$\epsilon$，结束计算，输出$x_{n+1}$，如果大于，重复$1-3$

最速下降法优缺点

• 优点：梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。
• 缺点：靠近极小值时收敛速度减慢，求解需要很多次的迭代；直线搜索时可能会产生一些问题；可能会“之字形”地下降。

下降方向

若搜索方向$p_k$满足$f(x^{(k)}+t_k{p}_k)<f(x^{(k)})$，则称$p_k$$f(x)$在点$x^{(k)}$处的下降方向。

下降方向的充分必要条件

若$f(x)$可微，向量$p_k$为点$x^{(k)}$处下降方向的充分必要条件为$▽f(x^k{)}^T{p}_k<0$

常用终止准则

n阶条件

设$f(x)$的一阶导数和二阶导数存在，且分别表示为$g(x)=▽f(x),g(x)={▽}^{2}f(x)$

一阶必要条件

设$f:D\subset R^n\to R^1$在开集D上连续可微，若$x^{\ast }\in D$是$mi{n}_{x\in R^n}f(x)$的局部极小点，则$g(x^{\ast })=0$

二阶必要条件

设$f:D\subset R^n\to R^1$在开集D上二阶连续可微，若$x^{\ast }\in D$是$mi{n}_{x\in R^n}f(x)$的局部极小点，则x∈Rn $g(x^{\ast })=0，G(x^{\ast })\ge 0(G（x^{\ast })$半正定)

二阶充分条件

设$f:D\subset R^n\to R^1$在开集D上二阶连续可微，则$x^{\ast }\in D$是$f$的一个严格局部极小点的充分条件是$g(x^{\ast })=0$且$G(x^{\ast })$是正定矩阵。

共轭方向性质

1. 若非零向量系$d0,d1,d2,\dots ,dm-1$是对G共轭，则这m个向量是线性无关的。
2. 在n维空间中互相共轭的非零向量的个数不超过n。
3. 从任意初始点出发，顺次沿n个G的共轭方向$d_0,d_1,d_2,\dots ,d_n$进行一维搜索，最多经过n次迭代就可以找到的二次函数$f(x)$极小点。