数学建模学习记录之二：最优化理论基础(上)

向量范数

在$R^n$上的向量范数为从$R^n$到$R$的函数，满足如下性质：
1.$f(x)\ge 0$，$x$∈$R^n（f(x)=0当且仅当x=0）$
2.$f(x+y)\le f(x)+f(y)，x,y\in R^n$
3.$f(\alpha x)=|\alpha |f(x)$,$\alpha \in R，x\in R$

用双线来表示此类函数：$f(x)=||x||$，双线下的下标用来区分不同的范数。
向量范数满足这样的条件：
$||x||\ge 0$，$x\in R^n$
$||x+y||\le ||x||+||y||$，$\forall x,y\in R^n$
$||\alpha x||=|\alpha |||x||$，$\forall \alpha \in R,\forall x\in R^n$

· $p$范数

定义为：$||x|{|}_p=(|x_1{|}^p+|x_2{|}^p+...+|x_n{|}^p{)}^{\frac{1}{p}},p\ge 1$

· 常用范数

最重要的是$1$，$2$和无穷级数0
$||x|{|}_1=|x_1|+|x_2|+...+|x_n|$
$||x|{|}_2=(|x_1{|}^2+|x_2{|}^2+...+|x_n{|}^2{)}^{\frac{1}{2}}=(x^{T}x{)}^{\frac{1}{2}}$
$||x|{|}_{\infty }=ma{x}_{1\le i\le n}|x_i|$
在范数$||.||$意义下的单位向量是指满足于$||x||=1$的向量$x$

· 向量范数性质

$Holder不等式：$
$|x^{T}y|\le ||x|{|}_p||y|{|}_q,\frac{1}{p}+\frac{1}{q}=1$
特殊形式$p=q=2$，$Cauch-Schwartz不等式:$
$|x^{T}y|\le ||x|{|}_2||y|{|}_2$

说明：
对于任意$\lambda$有：$(x-\lambda y{)}^T(x-\lambda y)\ge 0$
$x^{T}x-2\lambda x^{T}y+{\lambda }^2{y}^{T}y\ge 0$
显然$\lambda$有解，则$(-2x^{T}y{)}^2-4y^{T}y{x}^{T}x\le 0$
化简，从而得证。

矩阵范数

与向量范数是类似的，这里只介绍一种常用的矩阵范数：
设$A\in P^{m+n}$，$P$为一个数域。
$||A|{|}_{m_1}={\sum }_{j=1}^n{\sum }_{i=1}^m|a_{ij}|$
$||A|{|}_{m_2}={\sum }_{j=1}^n{\sum }_{i=1}^m|a_{ij}^2{|}^{\frac{1}{2}}$
∣ ∣ A ∣ ∣ m ∞ = m a x i , j { ∣ a i j ∣ } , i ∈ [ 1 , m ] , j ∈ [ 1 , n ] ||A||_{m_{\infty}}=max_{i,j}\{|a_{ij}|\},i \in [1,m],j \in [1,n] ∣∣A∣∣m∞​​=maxi,j​{∣aij​∣},i∈[1,m],j∈[1,n]
$||A|{|}_F=({\sum }_{j=1}^n{\sum }_{i=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}$为$F范数$

$n$元函数的可微性与梯度

多元函数$f(x)=f(x_1,x_2,...,x_n)$:
$f:D\in R^n\to R^1$表示$f$是定义在$n$维空间子集$D$上的$n$元实值函数。
$x=(x_1,x_2,...,x_n{)}^T,x_0=(x_1^0,x_2^0,...,x_n^0{)}^T$

· 多元函数的定义

设$f：D\in R^n\to R^1$,且$x_0\in D$，若存在$n$维向量$L$,对于任意$n$维向量$P$,都有：

$$\underset{||P||\to 0}{\lim }\frac{f(x_0+P)-f(x_0)-L^{T}P}{||P||}=0$$
则称$f(x)$在$x_0$处可微。
令$\frac{f(x_0+P)-f(x_0)-L^{T}P}{||P||}=\alpha$，则：
$$f(x_0+P)-f(x_0)=L^{T}P+\alpha ||P||=L^{T}P+o(||P||)$$

· 定理一

若$f(x)$在$x_0$处可微，则$f(x)$在$x_0$关于各变量的一阶偏导数存在，且定义中的
$$L=(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},...,\frac{\partial f(x)}{\partial x_n}{)}^T{|}_{x=x_0}$$

证明：
设$L=(l_1.l_2,...,l_n{)}^T$
依次取$P=p_i{e}^i(i=1,2,...,n)$【$e^i$为单位向量】
可推得：
$$\underset{p_i\to 0}{\lim }\frac{f(x_0+p_i{e}^i)-f(x_0)}{p_i}=l_i$$

全微分

设$D$为$R^2$的一个开集，$P(x,y)\in D$,$z=f(x,y)$是定义在$D$以内的函数。$Q(x+\Delta x,y+\Delta y)\in D$,则称这两点的函数值之差：
$f(x+\Delta x,y+\Delta y)-f(x,y)$为函数在点$P$对应于自变量增加$x$，$y$的全增量。
记为：
$$\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)$$

·定义

如果函数$z=f(x,y)$在点$(x,y)$的全增量$\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)$可以表示$\Delta z=A\Delta x+B\Delta y+o(\rho )$。其中$A$,$B$不依赖于$\Delta x$,$\Delta y$而仅与$x,y$有关，$\rho =\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$，则称函数在这点可微，$\Delta z$的线性主部：
$$A\Delta x+B\Delta y$$称为函数$z$在点$(x,y)$的全微分，记为$dz$，即$dz=A\Delta x+B\Delta y$

·定理

如果函数$z=f(x,y)$在点$(x,y)$可微分，则该函数在点$(x,y)$的偏导数$dz=\frac{\partial z}{\partial x}\Delta x+\frac{\partial z}{\partial y}\Delta y=\frac{\partial z}{\partial x}dx+\frac{\partial z}{\partial y}dy$

方向导数

·定义

设$P\in R^n$，则可微函数$f(x)$在$x$点沿方向$P$的方向导数定义为：
$$\frac{\partial f(x)}{\partial P}=\underset{a\to 0^{+}}{\lim }\frac{f(x+aP)-f(x)}{a||P||}$$$$=\underset{a\to 0^{+}}{\lim }\frac{\nabla f(x{)}^T(aP)+o(||aP||)}{a||P||}$$$$=\underset{a\to 0^{+}}{\lim }[\nabla f(x{)}^T\frac{P}{||P||}+\frac{o(||aP||)}{||aP||}]$$$$=\nabla f(x{)}^T\frac{P}{||P||}$$$$=\frac{||\nabla f(x)||\ast ||P||cos(\theta )}{||P||}$$$$=||\nabla f(x)||cos(\theta )$$
若$||P||=1$，则可微函数$f(x)$在$x$点沿方向$P$的方向导数定义为：
$$\frac{\partial f(x)}{\partial P}=\underset{a\to 0^{+}}{\lim }\frac{f(x+aP)-f(x)}{a}=\nabla f(x{)}^{T}P=||\nabla f(x)||cos(\nabla f(x),P)$$

·二元函数为例

函数的增量$f(x+\Delta x,y+\Delta y)-f(x,y)$与$P{P}^{\prime }$两点间的距$\rho =\sqrt{(\Delta x{)}^2+(\Delta y{)}^2}$之比值，当$P^{\prime }$沿着$l$趋与$P$时，如果此比值的极限存在，则称这极限为函数在点$P$沿方向$l$的方向导数。
记为：$$\frac{\partial f}{\partial l}{|}_P=\underset{\rho \to 0}{\lim }\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho }$$

·定理

如果函数$z=f(x,y)$在点$P(x,y)$是可微分的，那么函数在该点沿任意方向$l$的方向导数都存在，且有$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}cos\alpha +\frac{\partial f}{\partial y}cos\beta$$$cos\alpha$、$cos\beta$为方向余弦。
$\to$证明
由于函数可微，则增量可表示为：
$f(x+\Delta x,y+\Delta y)-f(x,y)=\frac{\partial f}{\partial x}\Delta x+\frac{\partial f}{\partial y}\Delta y+o(\rho )$
两边同除以$\rho$，得到：
$\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho }=\frac{\partial f}{\partial x}\ast \frac{\Delta x}{\rho }+\frac{\partial f}{\partial y}\ast \frac{\Delta y}{\rho }+\frac{o(\rho )}{\rho }$
故有方向导数
$$\frac{\partial f}{\partial l}=\underset{\rho \to 0}{\lim }\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\rho }$$
$$=\frac{\partial f}{\partial x}cos\alpha +\frac{\partial f}{\partial y}cos\beta$$
注意可以推广到三维。