定理:
对于任意的矩阵 A ∈ R m × n A \in R^{m\times n} A∈Rm×n,有 ∥ A T A ∥ 2 = ∥ A A T ∥ 2 \left\|A^TA\right\|_2 = \left\|AA^T\right\|_2 ATA 2= AAT 2
证明:
假设矩阵
A
T
A
A
T
A
A^TAA^TA
ATAATA最大特征值为
λ
2
\lambda^2
λ2,即
∥
A
T
A
∥
2
=
λ
\left\|A^TA\right\|_2=\lambda
ATA
2=λ,设
λ
2
\lambda^2
λ2对应的特征向量为
x
x
x,则有:
A
T
A
A
T
A
x
=
λ
2
x
.
(1)
A^TAA^TAx=\lambda^2 x. \tag{1}
ATAATAx=λ2x.(1)
在公式(1)左右两侧乘上
A
A
A,可以得到以下公式(2):
A
A
T
A
A
T
(
A
x
)
=
λ
2
(
A
x
)
.
(2)
AA^TAA^T(Ax)=\lambda^2 (Ax). \tag{2}
AATAAT(Ax)=λ2(Ax).(2)
式(2)表明
λ
2
\lambda ^2
λ2同时是
(
A
A
T
)
A
A
T
(AA^T)AA^T
(AAT)AAT的特征值,即
A
T
A
A
T
A
A^TAA^TA
ATAATA的特征值都是
A
A
T
A
A
T
AA^TAA^T
AATAAT的特征值,所以可知
∥
A
T
A
∥
2
≤
∥
A
A
T
∥
2
\bm{\left\|A^TA\right\|_2 \le \left\|AA^T\right\|_2}
ATA
2≤
AAT
2。
类似地,假设矩阵
A
A
T
A
A
T
AA^TAA^T
AATAAT最大特征值为
λ
2
\lambda^2
λ2,即
∥
A
A
T
∥
2
=
γ
\left\|AA^T\right\|_2=\gamma
AAT
2=γ,设
γ
2
\gamma^2
γ2对应的特征向量为
u
u
u,则有:
A
A
T
A
A
T
u
=
γ
2
u
.
(3)
AA^TAA^Tu=\gamma^2 u. \tag{3}
AATAATu=γ2u.(3)
在公式(3)左右两侧乘上
A
T
A^T
AT,可以得到以下公式(4):
A
T
A
A
T
A
(
A
T
u
)
=
γ
2
(
A
T
u
)
.
(2)
A^TAA^TA(A^Tu)=\gamma^2 (A^Tu). \tag{2}
ATAATA(ATu)=γ2(ATu).(2)
式(4)表明
γ
2
\gamma ^2
γ2同时是
(
A
T
A
)
A
T
A
(A^TA)A^TA
(ATA)ATA的特征值,所以可知
∥
A
A
T
∥
2
≤
∥
A
T
A
∥
2
\bm{\left\|AA^T\right\|_2 \le \left\|A^TA\right\|_2}
AAT
2≤
ATA
2。
综上所述, ∥ A T A ∥ 2 = ∥ A A T ∥ 2 \bm{\left\|A^TA\right\|_2 = \left\|AA^T\right\|_2} ATA 2= AAT 2成立,定理得证。