正交变换不改变矩阵F-范数、2-范数的证明

一、两种范数的定义

1.1 F-范数

$$||A|{|}_F=\sqrt{\sum _{0\le i,j\le n}{a}_{ij}^2}$$

1.2 2-范数

1.2.1 计算公式

简单来说，矩阵A的2范数可以用下面的公式计算：
$$||A|{|}_2=\sqrt{{\lambda }_m}$$
其中${\lambda }_m$是$A^{T}A$的最大的特征值

1.2.2 完整的定义

向量范数的定义： $||a|{|}_p=({\sum }_i{a}_i^p{)}^{1/p}$

由向量范数构造矩阵范数：

设给定向量范数，对任意矩阵$A\in R^{n\times n}$，let
$$||A||=\underset{||x||=1}{\max }||Ax||$$
则上式定义的$||A||$是矩阵范数，并且与$||x||$相容

定义
$$||A|{|}_p=\underset{||x|{|}_p=1}{\max }||Ax|{|}_p$$
$||\cdot |{|}_p$与矩阵的p-范数相容

1.2.3 计算公式推导

$A^{T}A$是非负定对称矩阵，可以相似对角化, 并且特征值全部非负。

设矩阵$A^{T}A$经过正交化的单位特征向量为$x_1,x_2,...,x_n,||x_i|{|}_2=1,(x_i,x_j{)}_{i\ne j}=0$

向量$x=c_1{x}_1+...+c_n{x}_n$

$A^{T}Ax=A^{T}A(c_1{x}_1+...+c_n{x}_n)=c_1{\lambda }_1{x}_1+...+c_n{\lambda }_n{x}_n$

$1=||x|{|}_2^2={\sum }_i{c}_i^2$

$||Ax|{|}_2^2=(Ax{)}^T(Ax)=x^T{A}^{T}Ax={\sum }_i{c}_i{\lambda }_i{x}^T{x}_i={\sum }_i{c}_i^2{\lambda }_i\le {\lambda }_m$

当$x=x_m$时取等号，因此

$||A|{|}_2={\max }_{||x|{|}_2=1}||Ax|{|}_2=\sqrt{{\lambda }_m}$

二、证明正交变换不改变这两种范数

设$B=P^{T}AP$，P 是正交矩阵。

只需证明$||A||=||B||$

2.1 2-范数

由于正交相似变换不改变矩阵的特征值，因此

$||A|{|}_2=||B|{|}_2$

2.2 F范数

可以证明$||AP|{|}_F=||A|{|}_F$，$||PB|{|}_F=||B|{|}_F$，因为$AP=PB$，所以得到$||A|{|}_F=||B|{|}_F$

下面证明$||PB|{|}_F=||B|{|}_F$

将矩阵B按列分块

$$\begin{array}{rl}||PB|{|}_F^2& =||P(b_1,...b_n)|{|}_F\\ & =\sum _i||P{b}_i|{|}_2^2\\ & =\sum _i(P{b}_i{)}^T(P{b}_i)\\ & =\sum _i{b}_i^T{b}_i\\ & =\sum _i||b_i|{|}_2^2\\ & =||B|{|}_F\end{array}$$

$$||AP|{|}_F=||(AP{)}^T|{|}_F=||P^T{A}^T|{|}_F=||A^T|{|}_F=||A|{|}_F$$
证毕，因此$||A|{|}_F=||B|{|}_F$