抄书——最优化的理论与方法（5）——数学基础（函数和微分）

以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.2.5 函数和微分

---

1.2.5 函数和微分

连续函数 $f:R^n\to R$ 称为在 $x\in R^n$ 连续可微，如果$\left(\frac{\partial f}{\partial x_i}\right)(x)$ 存在且连续，$i=1,2,\cdots ,n$，$f$ 在 $x$ 处的梯度定义为：
$$\nabla f(x)={\left[\frac{\partial f}{\partial x_1}(x),\cdots ,\frac{\partial f}{\partial x_n}(x)\right]}^T$$
如果 $f$ 在开集 $D\subset R^n$ 中的每一点连续可微，则称 $f$ 在 $D$ 中连续可微，记作 $f\in C^1(D)$。
连续可微函数 $f:R^n\to R$ 称为在 $x$ 二次连续可微，如果 $\frac{{\partial }^{2}f}{\partial x_i\partial x_j}(x)$ 存在且连续，$1\le i,j\le n$。$f$ 在 $x$ 处的 Hesse 矩阵定义为 $n\times n$ 矩阵，其 $i,j$ 元素为：
$${\left[{\nabla }^{2}f(x)\right]}_{ij}=\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j},1\le i,j\le n$$
如果 $f$ 在开集 $D\subset R^n$ 中的每一点二次连续可微，则称 $f$ 在 $D\subset R^n$ 中二次连续可微，记作 $f\in C^2(D)$。
设 $f:R^n\to R$ 在开集 $D\subset R^n$ 上连续可微，对于 $x\in R^n,d\in R^n$，$f$ 在 $x$ 点关于 $d$ 的方向导数定义为：
$$\frac{\partial f}{\partial d}(x)=\underset{\theta \to 0}{\lim }\frac{f(x+\theta d)-f(x)}{\theta }(1.2.66)$$
该方向导数等于 $\nabla f(x{)}^{T}d$，其中，$\nabla f(x)$ 表示 $f$ 在 $x$ 的梯度，它是 $f$ 的导数 $f^{\prime }(x)$ 的转置，是 $n\times 1$ 向量。
对任何 $x,x+d\in D$，或 $x,y\in D$，若 $f:R^n\to R$ 在开凸集 $D$ 上连续可微，则有：
$$\begin{gathered} f(x+d)=f(x)+{\int }_0^1\nabla f(x+td{)}^{T}d\cdot dt \\ =f(x)+{\int }_x^{x+d}\nabla f(\xi )d\xi (1.2.67) \end{gathered}$$
因而也有
$$f(x+d)=f(x)+\nabla f(\xi {)}^{T}d,\xi \in (x,x+d)(1.2.68a)$$
或
$$f(y)=f(x)+\nabla f(x+t(y-x){)}^T(y-x),t\in (0,1)(1.2.68b)$$
或
$$f(y)=f(x)+\nabla f(x{)}^T(y-x)+o(\Vert y-x\Vert ),t\in (0,1)(1.2.68c)$$

---

这是多维 $R^n$ 空间中可微函数的中值定理。

---

设 $f:R^n\to R$ 在开集 $D\subset R^n$ 上二次连续可微，对于 $x\in R^n,d\in R^n$，$f$ 在 $x$ 关于方向 $d$ 的二阶方向导数定义为：
$$\frac{{\partial }^{2}f}{\partial d^2}(x)=\underset{\theta \to 0}{\lim }\frac{\frac{\partial f}{\partial d}(x+\theta d)-\frac{\partial f}{\partial d}(x)}{\theta }(1.2.69)$$
上述定义的二阶方向导数等于 $d^T{\nabla }^{2}f(x)d$，其中 ${\nabla }^{2}f(x)$ 表示 $f$ 在 $x$ 的 Hesse 矩阵。对于任何 $x,x+d\in D$，存在 $\xi \in (x,x+d)$，使得：
$$f(x+d)=f(x)+\nabla f(x{)}^{T}d+\frac{1}{2}{d}^T{\nabla }^{2}f(\xi )d(1.2.70)$$
或
$$f(x+d)=f(x)+\nabla f(x{)}^{T}d+\frac{1}{2}{d}^T{\nabla }^{2}f(x)d+o(\Vert d{\Vert }^2)(1.2.71)$$
由此，我们也有
$$\begin{gathered} |f(y)-f(x)|\le \Vert y-x\Vert \underset{\xi \in L(x,y)}{\sup }\Vert f^{\prime }(\xi )\Vert (1.2.72) \\ |f(y)-f(x)-f^{\prime }(x_0)(y-x)|\le \Vert y-x\Vert \underset{\xi \in L(x,y)}{\sup }\Vert f^{\prime }(\xi )-f^{\prime }(x_0)\Vert (1.2.73) \end{gathered}$$
其中，$L(x,y)$ 表示 $x$ 和 $y$ 的连接线段，$\xi =x+t(y-x),0\le t\le 1$.

---

上述中值定理，为函数的近似提供了方法。

---

设 $h:R^n\to R,g:R^m\to R,f:R^n\to R^m$，并设 $f\in C^1(D),g\in C^1(D),h(x_0)=g(f(x_0))$，则链式法则为：
$$h^{\prime }(x_0)=g^{\prime }(f(x_0))f^{\prime }(x_0)(1.2.74a)$$
其中 $f^{\prime }(x_0)$ 是 $m\times n$ 矩阵，即
$$f^{\prime }(x_0)={\left[\frac{\partial f_i(x)}{\partial x_j}\right]}_{m\times n}$$
有
$$h^{\prime \prime }(x_0)=\nabla f(x_0{)}^T{\nabla }^{2}g[f(x_0)]\nabla f(x_0)+\sum _{i=1}^m\frac{\partial g[f(x_0)]}{\partial f_i}[f_i(x_0){]}^{\prime \prime }(1.2.74b)$$

---

(1.2.74b)式较复杂，不知在实际应用中有没有用到的。

---

下面给出向量值函数的微分基础（即函数值是一个向量）。
连续函数 $F:R^n\to R^m$ 在 $x\in R^n$ 连续可微，如果其每一个分量 $f_i,(i=1,\cdots ,m)$，在 $x$ 连续可微。$F$ 在 $x$ 的导数 $F^{\prime }(x)\in R^{m\times n}$ 叫做 $F$ 在 $x$ 的 Jacobi 矩阵，它的转置叫 $F$ 在 $x$ 的梯度，即：
$$F^{\prime }(x)=J(x)=\nabla F(x{)}^T$$
Jacobi 矩阵的第 i，j 元素为：
$$[F^{\prime }(x){]}_{ij}=[J(x){]}_{ij}=\frac{\partial f_i}{\partial x_j}(x),i=1,\cdots ,m,j=1,\cdots ,n$$
若 $F:R^n\to R^m$ 在开凸集 $D$ 上连续可微，则对于任何 $x,x+d\in R^n$，有
$$F(x+d)-F(x)={\int }_0^{1}J(x+td)d\cdot dt={\int }_x^{x+d}{F}^{\prime }(\xi )d\xi (1.2.75)$$

---

对比式（1.2.67），两者的形式是一样的。

---

定义 1.2.11
$G:R^n\to R^{m\times n}$ 在 $x\in D\subset R^n$ 上称为 Lipschitz 连续，如果 $\forall v\in D$，
$$\Vert G(v)-G(x)\Vert \le \gamma \Vert v-x\Vert ,(1.2.76)$$
其中 $\gamma$ 称为 Lipschitz 常数。如果 $x\in D\subset R^n$，(1.2.76)成立，则称 $G$ 在 $D$ 上 Lipschitz 连续，记作 $G\in Li{p}_{\gamma }(D)$。

---

Lipschitz 连续，常出现，比如在：Wasserstein GAN 中要求，判别器的网络参数满足Lipschitz 连续要求。

---

定理 1.2.12
设 $F:R^n\to R^{m\times n}$ 在开凸集 $D$ 上连续可微，$F^{\prime }$ 在 $x\in \text{邻域}D$ 中 Lipschitz 连续，则对于任何 $x+d\in D$，有
$$\Vert F(x+d)-F(x)-F^{\prime }(x)d\Vert \le \frac{\gamma }{2}\Vert d{\Vert }^2(1.2.77)$$
证明：
$$\begin{gathered} F(x+d)-F(x)-F^{\prime }(x)d={\int }_0^1{F}^{\prime }(x+\alpha d)d\cdot d\alpha -F^{\prime }(x)d \\ ={\int }_0^1[F^{\prime }(x+\alpha d)-F^{\prime }(x)]d\cdot d\alpha \end{gathered}$$
从而，
$$\begin{gathered} \Vert F(x+d)-F(x)-F^{\prime }(x)d\Vert \le {\int }_0^1\Vert F^{\prime }(x+\alpha d)-F^{\prime }(x)\Vert \Vert d\Vert d\alpha \\ \le {\int }_0^1\gamma \Vert \alpha d\Vert \Vert d\Vert d\alpha \\ =\gamma \Vert d{\Vert }^2{\int }_0^1\alpha d\alpha =\frac{\gamma }{2}\Vert d{\Vert }^2\square \end{gathered}$$
定理（1.2.12）给出了用线性模型 $F(x)+F^{\prime }(x)d$ 作为 $F(x+d)$ 的近似所产生的误差界。类似于定理 1.2.12，我们可以给出用二次模型作为 $f(x+d)$ 的近似所产生的误差界。
定理 1.2.13
设 $f:R^n\to R$ 在开凸集 $D\subset R^n$ 上二次连续可微，设 ${\nabla }^{2}f(x)$ 在 $x\in \text{邻域}D$ 中 Lipschitz 连续，则对于任何 $x+d\in D$，有
$$\left|f(x+d)-[f(x)+\nabla f(x{)}^{T}d+\frac{1}{2}{d}^T{\nabla }^{2}f(x)d]\right|\le \frac{\gamma }{2}\Vert d{\Vert }^3(1.2.78)$$

---

让我们想起一维函数的泰勒展开，这里有Lipschitz 连续 的约束。

---

作为定理 1.2.12 的推广，可以得到
定理 1.2.14
设 $F:R^n\to R^m$ 在开凸集 $D$ 上连续可微，则对于任何 $x,u,v\in D$，有
$$\begin{gathered} \Vert F(u)-F(v)-F^{\prime }(v)(u-v)\Vert \le \\ \left[\underset{0\le t\le 1}{\sup }\Vert F^{\prime }(v+t(u-v))-F^{\prime }(x)\right]\Vert u-v\Vert (1.2.79) \end{gathered}$$
再设 $F^{\prime }$ 满足 Lipschitz 连续，则有：
$$\begin{gathered} \Vert F(u)-F(v)-F^{\prime }(v)(u-v)\Vert \le \gamma \sigma (u,v)\Vert u-v\Vert (1.2.80a) \\ \Vert F(u)-F(v)-F^{\prime }(v)(u-v)\Vert \le \gamma \frac{\Vert u-x\Vert +\Vert x-v\Vert }{2}\Vert u-v\Vert (1.2.80b) \end{gathered}$$
其中， σ ( u , v ) = max ⁡ { ∥ u − x ∥ , ∥ v − x ∥ } \sigma(u,v)=\max\{ \Vert u-x\Vert, \Vert v-x\Vert\} σ(u,v)=max{∥u−x∥,∥v−x∥}

---

定理 1.2.15
设 $F,F^{\prime }$ 满足定理 1.2.14 的条件，假定 $[F^{\prime }(x){]}^{-1}$ 存在，则存在 $ϵ>0,\beta >\alpha >0$，使得 $\forall u,v\in D$，当 max ⁡ { ∥ u − x ∥ , ∥ v − x ∥ } ≤ ϵ \max \{\Vert u-x\Vert,\Vert v-x\Vert\}\le\epsilon max{∥u−x∥,∥v−x∥}≤ϵ 时，有
$$\alpha \Vert u-v\Vert \le \Vert F(u)-F(v)\Vert \le \beta \Vert u-v\Vert (1.2.81)$$
证明：
利用三角不等式和（1.2.80b）
$$\begin{gathered} \Vert F(u)-F(v)\Vert \le \Vert F^{\prime }(x)(u-v)\Vert +\Vert F(u)-F(v)-F^{\prime }(v)(u-v)\Vert \\ \le \left[\Vert F^{\prime }(x)\Vert +\gamma \frac{\Vert u-x\Vert +\Vert x-v\Vert }{2}\right]\Vert u-v\Vert \\ \le \left[\Vert F^{\prime }(x)\Vert +\gamma ϵ\right]\Vert u-v\Vert \end{gathered}$$
令 $\beta =\Vert F^{\prime }(x)\Vert +\gamma ϵ$，则有（1.2.81）右边的不等式。
类似的，
$$\begin{gathered} \Vert F(u)-F(v)\Vert \ge \Vert F^{\prime }(x)(u-v)\Vert -\Vert F(u)-F(v)-F^{\prime }(v)(u-v)\Vert \\ \ge \left[1/\Vert F^{\prime }(x){\Vert }^{-1}-\gamma \frac{\Vert u-x\Vert +\Vert x-v\Vert }{2}\right]\Vert u-v\Vert \\ \ge \left[1/\Vert F^{\prime }(x){\Vert }^{-1}-\gamma ϵ\right]\Vert u-v\Vert \end{gathered}$$
因此，如果 $$ϵ<\frac{1}{\Vert [F^{\prime }(x){]}^{-1}\Vert \gamma }$$，则令
$$\alpha =\frac{1}{\Vert [F^{\prime }(x){]}^{-1}\Vert }-\gamma ϵ>0$$
便得到（1.2.81）中左边的不等式。
$\square$

---

在这段叙述中，我们看到向量值函数若满足 Lipschitz连续 约束，则它的变化（梯度变化）将在某一个范围内，于是就将具有许多有用的推导特性。

---

1.2.6 有限差分导数

设 $F:R^n\to R^m$，其 Jacobi 矩阵 $J(x)$ 的第 $(i,j)$ 个分量可以用有限差分
$$a_{ij}=\frac{f_i(x+h{e}_j)-f_i(x)}{h}(1.2.82)$$
近似，其中 $f_i(x)$ 表示 $F(x)$ 的第 i 个分量，$e_j$ 表示第 j 个单位向量，$h$ 是一个数，表示步长因子。等价地，如果用 $A_{\cdot j}$ 表示 $A$ 的第 j 列，我们有
$$A_{\cdot j}=\frac{F(x+h{e}_j)-F(x)}{h}(1.2.83)$$
定理 1.2.16（一次）
设 $F:R^n\to R^m$ 满足定理 1.2.12 的条件，又设采用的范数 $\Vert \cdot \Vert$ 满足 $\Vert e_j\Vert =1,j=1,\cdots ,n$，则
$$\Vert A_{\cdot j}-J(x{)}_{\cdot j}\Vert \le \frac{\gamma }{2}|h|(1.2.84)$$
如果采用的是 $l_1$ 范数，则：
$$\Vert A-J(x){\Vert }_1\le \frac{\gamma }{2}|h|(1.2.85)$$

---

定理 1.2.16 反映了 Jacobi矩阵 与它的近似之间的误差界。

---

定理 1.2.17（二次）
设 $F:R^n\to R^m$ 满足定理 1.2.13 的条件，又设采用的范数 $\Vert \cdot \Vert$ 满足 $\Vert e_i\Vert =1,i=1,\cdots ,n$，假定 $x+h{e}_i,x-h{e}_i\in D,i=1,\cdots ,n$，并设向量 $a\in R^n$，其分量 $a_i$ 定义为：
$$a_i=\frac{f(x+h{e}_i)-f(x-h{e}_i)}{2h}(1.2.86)$$
则
$$|a_i-[\nabla f(x){]}_i|\le \frac{\gamma }{6}{h}^2(1.2.87)$$
如果所采用的是 $l_{\infty }$ 范数，则
$$\Vert a-\nabla f(x){\Vert }_{\infty }\le \frac{\gamma }{6}{h}^2(1.2.88)$$

定理 1.2.18
设 $f$ 满足定理 1.2.17 的条件，假定 $x,x+h{e}_i,x+h{e}_j,x+h{e}_i+h{e}_j\in D,1\le x,y\le n$。又设 $A\in R^{n\times n}$，其分量 $a_{ij}$ 定义为
$$a_{i}j=\frac{f(x+h{e}_i+h{e}_j)-f(x+h{e}_i)-f(x+h{e}_j)+f(x)}{2h^2}(1.2.90)$$
于是
$$|a_{ij}-[{\nabla }^{2}f(x){]}_{ij}|\le \frac{1}{4}\gamma h(1.2.91)$$
如果所采用的是 $l_1,l_{\infty }$ 或 Frobenius范数，则
$$\Vert A-{\nabla }^{2}f(x)\Vert \le \frac{1}{4}\gamma hn(1.2.92)$$