最优化计算方法

#最优化计算方法
本文记录了博主在学习《最优化计算方法》时的总结，主要侧重于与深度学习相关的内容，更新于2018.09.17。
书目信息：《最优化计算方法》，黄正海等著，出版时间2015.02，科学出版社。

更多内容，欢迎加入星球讨论。

KaTeX parse error: No such environment: split at position 8: \begin{̲s̲p̲l̲i̲t̲}̲ &\min \quad &f…

其中$x\in {\mathbb{R}}^n$称为决策向量，函数$f:{\mathbb{R}}^n\to \mathbb{R}$称为目标函数，函数$c_i(\cdot )(i\in I)$称为不等式约束函数，函数$c_i(\cdot )(i\in E)$称为等式约束函数，不等式$c_i(x)\ge 0(i\in I)$称为不等式约束，方程$c_i(x)=0(i\in E)$称为等式约束，$I$称为不等式约束的指标集，$E$称为等式约束的指标集。记：

\begin{split}
\mathscr F:=\left{ x\in \mathbb R^n \left\vert
\begin{aligned}
& c_i(x)\geq 0,\quad \forall i\in I={1,2,\cdot\cdot\cdot,p};\
& c_i(x)=0,\quad \forall i\in E={p+1,p+2,\cdot\cdot\cdot,m}
\end{aligned}
\right. \right}
\end{split}

称$\mathcal{F}$为上述最优化问题的可行域，$\mathcal{F}$中的每个点$x$称为上述最优化问题的一个可行点。若$\mathcal{F}=\varnothing$，则称上述最优化问题不可行；否则，称问题是可行的。

因此，上述最优化问题就是在可行域$\mathcal{F}$中找到一个点$x$，使其对应的$f(x)$的值不大于任何其他$\mathcal{F}$中的点对应的目标函数值。

**定义：**假设可行域$\mathcal{F}$由上式给出：
（i）若$x^{\ast }\in \mathcal{F}$，且对所有的$x\in \mathcal{F}$恒有$f(x^{\ast })\le f(x)$，则称$x^{\ast }$为上述最优化问题的一个全局解；
（ii）若$x^{\ast }\in \mathcal{F}$，且对所有的$x\in \mathcal{F}/x^{\ast }$恒有$f(x^{\ast })<f(x)$，则称$x^{\ast }$为上述最优化问题的严格全局最优解；
（iii）若$x^{\ast }\in \mathcal{F}$，且存在$x^{\ast }$的某个邻域
N ε ( x ∗ ) &quot; = { x ∈ R n ∣ ∥ x − x ∗ ∥ &lt; ε } ， ε 为 正 实 数 且 ∥ ⋅ ∥ 表 示 某 种 范 数 \mathscr N_\varepsilon (x^*)&quot;=\left\{x\in \mathbb R^n \left\vert \Vert x-x^*\Vert \lt \varepsilon \right. \right\}，\varepsilon 为正实数且\Vert\cdot\Vert表示某种范数 Nε​(x∗)"={x∈Rn∣∥x−x∗∥<ε}，ε为正实数且∥⋅∥表示某种范数
使得对所有的$x\in \mathcal{F}\cap {\mathcal{N}}_{\epsilon }(x^{\ast })$恒有$f(x^{\ast })\le f(x)$，那么称$x^{\ast }$为上述最优化问题的一个局部最优解。
（iv）若$x^{\ast }\in \mathcal{F}$，且存在$x^{\ast }$的某个邻域${\mathcal{N}}_{\epsilon }(x^{\ast })$，使得对所有的$x\in \mathcal{F}\cap {\mathcal{N}}_{\epsilon }(x^{\ast })/x^{\ast }$恒有$f(x^{\ast })<f(x)$，那么称$x^{\ast }$为为上述最优化问题的一个严格局部最优解。

**定义：**对于上述最优化问题，称其最优解$x^{\ast }$对应的目标函数值$f(x^{\ast })$为此优化问题的最优值。

最优解不一定存在，存在也不一定唯一，但如果存在最优解，那么最优值一定唯一。最优化问题也常被写成：

\begin{split}
\min\left{f(x) \left\vert
\begin{aligned}
& c_i(x)\geq 0,\quad \forall i\in I={1,2,\cdot\cdot\cdot,p};\
& c_i(x)=0,\quad \forall i\in E={p+1,p+2,\cdot\cdot\cdot,m}
\end{aligned}
\right. \right}
\end{split}

###预备知识
约定向量取列向量形式，即$x\in {\mathbb{R}}^n$是指$x$具有如下形式：

\begin{split}
x:=(x_1,x_2,\cdot\cdot\cdot)^T=
\left(
\begin{aligned}
&x1\
&x2\
&\cdot\
&\cdot\
&\cdot\
&x_n
\end{aligned}
\right)
\end{split}

对任意的$x,y\in {\mathbb{R}}^n$，常用的内积$⟨x,y⟩$定义为：
$$⟨x,y⟩:=\sum _{i=1}^n{x}_i{y}_i=x^{T}y$$

常用的向量范数：
$l_1-范数$：$\Vert x{\Vert }_1={\sum }_{i=1}^n|x_i|$
$l_2-范数$：$\Vert x{\Vert }_2=\sqrt{x^{T}x}=\sqrt{{\sum }_{i=1}^n{x}_i^2}$
$l_{\infty }-范数$： ∥ x ∥ ∞ = max ⁡ { ∣ x i ∣ ∣ i ∈ { 1 , 2 , ⋅ ⋅ ⋅ , n } } \Vert x\Vert_\infty=\max \{\vert x_i\vert \vert i\in \{1,2,\cdot\cdot\cdot,n\}\} ∥x∥∞​=max{∣xi​∣∣i∈{1,2,⋅⋅⋅,n}}

一般地，对于$p\in \left[1,\infty \right)$，$l_p-范数$定义为：
$\Vert x_p\Vert ={\left({\sum }_{i=1}^n|x_i{|}^p\right)}^{1/p}$

各范数之间的关系有：
$\Vert x{\Vert }_{\infty }\le \Vert x{\Vert }_2\le \Vert x{\Vert }_1\le n\Vert x{\Vert }_{\infty }$

常用的矩阵范数
假设$A\in {\mathbb{R}}^{n\times n}$是对称正定矩阵，那么向量的椭球范数$\Vert \cdot {\Vert }_A$定义如下：
$$\Vert x{\Vert }_A:=\sqrt{x^{T}Ax},\forall x\in {\mathbb{R}}^n$$

对于任意的$A=(a_{ij}{)}_{n\times n}\in {\mathbb{R}}^{n\times n}$，常用的矩阵范数是Frobenius范数，定义为：
$$\Vert A{\Vert }_F:=\sqrt{\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}^2}=\sqrt{Tr(A^{T}A)}$$
其中，$Tr(A^{T}A)$表示矩阵$A^{T}A$的迹，即$A^{T}A$的所有主对角线元素之和，也等于$A^{T}A$的所有特征值之和。

另一个常用的矩阵范数是由向量所诱导的矩阵范数，也称算子范数，定义为：
∥ A ∥ : = max ⁡ x ∈ R n /   { 0 } ∥ A x ∥ ∥ x ∥ , ∀ A ∈ R n × n \Vert A \Vert:=\max_{x\in \mathbb R^n/\ \{0\}}\frac{\Vert Ax\Vert}{\Vert x\Vert},\quad \forall A\in \mathbb R^{n\times n} ∥A∥:=x∈Rn/ {0}max​∥x∥∥Ax∥​,∀A∈Rn×n
其中，$\Vert \cdot \Vert$是某种向量范数。
特别地，对于任意的$A\in {\mathbb{R}}^{n\times n}$，有：

• 由向量$l_1-范数$诱导的矩阵范数（列范数）为 ∥ A ∥ 1 = max ⁡ { ∑ i = 1 n ∣ a i j ∣ ∣ j ∈ { 1 , 2 , ⋅ ⋅ ⋅ , n } } \Vert A \Vert _1 = \max \left\{ \sum_{i=1}^n\vert a_{ij}\vert \left\vert j\in \{1,2,\cdot\cdot\cdot,n\}\right. \right\} ∥A∥1​=max{∑i=1n​∣aij​∣∣j∈{1,2,⋅⋅⋅,n}}
• 由向量$l_{\infty }-范数$诱导的矩阵范数（行范数）为 ∥ A ∥ ∞ = max ⁡ { ∑ j = 1 n ∣ a i j ∣ ∣ i ∈ { 1 , 2 , ⋅ ⋅ ⋅ , n } } \Vert A \Vert _\infty = \max \left\{ \sum_{j=1}^n\vert a_{ij}\vert \left\vert i\in \{1,2,\cdot\cdot\cdot,n\}\right. \right\} ∥A∥∞​=max{∑j=1n​∣aij​∣∣i∈{1,2,⋅⋅⋅,n}}
• 由向量$l_2-范数$诱导的矩阵范数（谱范数）为KaTeX parse error: Got function '\max' with no arguments as subscript at position 33: …= \sqrt{\lambda_̲\max(A^TA)}，其中KaTeX parse error: Got function '\max' with no arguments as subscript at position 8: \lambda_̲\max(A^TA)表示矩阵$A^{T}A$的最大特征值。

矩阵范数满足相容性条件，常用的不等式有Cauchy-Schwarz不等式，广义Cauchy-Schwarz不等式，Young不等式，Holder不等式，Minkowski不等式。

函数的可微性
如果函数$f$是二阶连续可微，那么函数$f$在点$x$处的二阶导数组成的矩阵称为Hesse阵。
给定多变量向量值函数$F$，如果其在$x$处连续可微，那么函数$F$在点$x$处的一阶导数矩阵称为Jacobi矩阵。

###凸集、凸函数、凸规划
凸集
给定非空集合$\mathcal{F}\subseteq {\mathbb{R}}^n$。如果对任意的$x,y\in \mathcal{F}$以及任意的实数$\alpha \in [0,1]$都有
$$\alpha x+(1+\alpha )y\in \mathcal{F}$$
那么，称$\mathcal{F}$为${\mathbb{R}}^n$中的一个凸集。若凸集$\mathcal{F}$为开集，则称为开凸集；若凸集$\mathcal{F}$为闭集，则称为闭凸集。

空集$\varnothing$通常被规定为凸集。

凸集分离定理
假设${\mathcal{F}}_1,{\mathcal{F}}_2\subseteq {\mathbb{R}}^n$为两个非空凸集。如果存在非零向量$w\in {\mathbb{R}}^n$和实数$t$，使得
（i）对任意的$x\in {\mathcal{F}}_1$和$y\in {\mathcal{F}}_2$，都有$w^{T}x\ge t$且$w^{T}y\le t$，则称超平面 π : = { x ∈ R n ∣ w T x = t } \pi := \{x\in \mathbb R^n \vert w^Tx=t\} π:={x∈Rn∣wTx=t}分离集合${\mathcal{F}}_1$和${\mathcal{F}}_2$；
（ii）对任意的$x\in {\mathcal{F}}_1$和$y\in {\mathcal{F}}_2$，都有$w^{T}x>t$且$w^{T}y<t$，则称超平面 π : = { x ∈ R n ∣ w T x = t } \pi := \{x\in \mathbb R^n \vert w^Tx=t\} π:={x∈Rn∣wTx=t}严格分离集合${\mathcal{F}}_1$和${\mathcal{F}}_2$。

Farkas引理
设$A\in {\mathbb{R}}^{m\times n}$且$b\in {\mathbb{R}}^n$，考虑不等式组
$$Ax\le 0,b^{T}x>0$$
和等式不等式组
$$A^{T}y=b,y\ge 0$$
那么，上述两式有且仅一组有解。