最优化方法Python计算：向量和矩阵的范数

Python用于科学计算中各种数组操作的工具包numpy的linalg模块中提供函数norm用于计算向量和矩阵的范数。该函数的调用接口为
$$\text{norm(x,ord)}$$
其中，参数x表示向量或矩阵，ord表示范数类型，缺省值为2-范数。即对向量$\mathbf{x}=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right)$计算范数
$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}$$
对矩阵$\mathbf{A}=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$，范数为
$$\Vert \mathbf{A}{\Vert }_2=\sqrt{\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2}.$$
其它类型范数读者可查阅numpy手册。例如，若参数ord取numpy的inf（表示无穷$\infty$），对向量$\mathbf{x}$而言，计算的范数为
∥ x ∥ ∞ = max ⁡ 1 ≤ i ≤ n { ∣ x i ∣ } , \lVert\boldsymbol{x}\rVert_{\infty}=\max_{1\leq i\leq n}\{|x_i|\}, ∥x∥∞​=1≤i≤nmax​{∣xi​∣},
而对矩阵$\mathbf{A}$而言，计算的是范数
$$\Vert \mathbf{A}{\Vert }_{\infty }=\underset{1\le i\le m}{\max }\left\{\sum _{j=1}^n|a_{ij}|\right\}.$$
例1 用Python计算函数$f(x_1,x_2)=x_1^4+x_2^4-4x_1^2{x}_2^2,\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)\in {\text{R}}^2$在$\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)$处的梯度范数$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。Hesse阵范数$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。
解：不难算得函数$f(x_1,x_2)$的梯度为
$$\nabla f(x_1,x_2)=\left(\begin{array}{c}4x_1^3-8x_1{x}_2^2\\ 4x_2^3-8x_1^2{x}_2\end{array}\right)$$
$\nabla f(\frac{1}{2},\frac{1}{2})=\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)$。Hesse阵为
$${\nabla }^{2}f(x_1,x_2)=\left(\begin{array}{cc}12x_1^2-8x_2^2& -16x_1{x}_2\\ -16x_1{x}_2& 12x_2^2-8x_1^2\end{array}\right)$$
${\nabla }^{2}f(\frac{1}{2},\frac{1}{2})=\left(\begin{array}{cc}1& -4\\ -4& 1\end{array}\right)$。因此，
∥ ∇ f ( 1 2 , 1 2 ) ∥ 2 = ( 1 2 ) 2 + ( 1 2 ) 2 = 1 2 及 ∥ ∇ f ( 1 2 , 1 2 ) ∥ ∞ = max ⁡ { 1 2 , 1 2 } = 1 2 \lVert\nabla f(\frac{1}{2},\frac{1}{2})\rVert_2=\sqrt{\left(\frac{1}{2}\right)^2+\left(\frac{1}{2}\right)^2}=\sqrt{\frac{1}{2}}\text{及}\lVert\nabla f(\frac{1}{2},\frac{1}{2})\rVert_\infty=\max\{\frac{1}{2},\frac{1}{2}\}=\frac{1}{2} ∥∇f(21​,21​)∥2​=(21​)2+(21​)2 ​=21​ ​及∥∇f(21​,21​)∥∞​=max{21​,21​}=21​
∥ ∇ 2 f ( 1 2 , 1 2 ) ∥ 2 = 1 2 + 4 2 + 1 2 + 4 2 = 34 及 ∥ ∇ 2 f ( 1 2 , 1 2 ) ∥ ∞ = max ⁡ { 1 + 4 , 4 + 1 } = 5. \lVert\nabla^2f(\frac{1}{2},\frac{1}{2})\rVert_2=\sqrt{1^2+4^2+1^2+4^2}=\sqrt{34}\text{及}\lVert\nabla^2f(\frac{1}{2},\frac{1}{2})\rVert_\infty=\max\{1+4,4+1\}=5. ∥∇2f(21​,21​)∥2​=12+42+12+42 ​=34 ​及∥∇2f(21​,21​)∥∞​=max{1+4,4+1}=5.
下列代码验算上述结果。

import numpy as np                                          #导入numpy
f1=lambda x:np.array([4*x[0]**3-8*x[0]*x[1]**2,             #设置梯度函数
		      4*x[1]**3-8*x[0]**2*x[1]])
f2=lambda x:np.array([[12*x[0]**2-8*x[1]**2,-16*x[0]*x[1]], #设置Hesse阵函数
		      [-16*x[0]*x[1],12*x[1]**2-8*x[0]**2]])
x=np.array([1/2,1/2])                                       #设置向量x
print(np.linalg.norm(f1(x)))                                #计算梯度2-范数
print(np.linalg.norm(f1(x),np.inf))                         #计算梯度∞-范数
print(np.linalg.norm(f2(x)))                                #计算Hesse阵2-范数
print(np.linalg.norm(f2(x),np.inf))                         #计算Hesse阵∞-范数

程序的第2~3行设置梯度函数$\nabla f(x_1,x_2)$为f1，第4~5行设置Hesse阵函数${\nabla }^{2}f(x_1,x_2)$为f2。第6行设置向量$\left(\begin{array}{c}\frac{1}{2}\\ \frac{1}{2}\end{array}\right)$为x。第7、8行分别计算$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert \nabla f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。注意调用norm函数时传递ord参数前者缺省，后者为numpy的inf。相仿地，第9、10行计算$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_2$和$\Vert {\nabla }^{2}f(\frac{1}{2},\frac{1}{2}){\Vert }_{\infty }$。运行程序，输出

0.7071067811865476
0.5
5.830951894845301
5.0

其中0.7071067811865476是$\sqrt{\frac{1}{2}}$的近似值，5.830951894845301是$\sqrt{34}$的近似值。
写博不易，敬请支持：
如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！