为什么投影矩阵是一个对称矩阵?因为 A A T AA^T AAT一定是一个对称矩阵。证明: ( A A T ) T = A T T A T = A A T (AA^T)^T={A^T}^TA^T=AA^T (AAT)T=ATTAT=AAT,转置等于其本身,符合对称矩阵定义。
一、对称矩阵(Symmetric matrices)
毫不夸张地讲,对阵矩阵 S S S 是在线性代数中最为重要的一类矩阵。如果矩阵元素都是实数,那么,它的特征值和特征向量的特点如下:
- 特征值都是实数
- 特征向量都是垂直的(证明看教材)
对于一个单位矩阵,任何向量都是其特征向量,所以这里指的特征向量应该理解为可以选出的垂直的特征向量。一般地,如果矩阵可对角化[1],则:
A
=
S
Λ
S
−
1
(1)
A=S\Lambda S^{-1}\tag{1}
A=SΛS−1(1)
如果矩阵
A
A
A还是对称矩阵,那么:
A
=
Q
Λ
Q
−
1
=
Q
Λ
Q
T
(2)
A=Q\Lambda Q^{-1}=Q\Lambda Q^{T} \tag{2}
A=QΛQ−1=QΛQT(2)
(2)为什么 S S S变成了 Q Q Q?将特征向量进行缩放(缩放后仍是特征向量)至单位向量,一个简单的例子: [ a 1 a 2 ] \begin{bmatrix} a_1\\a_2 \end{bmatrix} [a1a2]变成 [ a 1 a 1 2 + a 2 2 a 2 a 1 2 + a 2 2 ] \begin{bmatrix} \frac{a_1}{\sqrt{a_1^2+a_2^2}}\\\frac{a_2}{\sqrt{a_1^2+a_2^2}} \end{bmatrix} a12+a22a1a12+a22a2 ,再把对应的系数转移到新的 Λ \Lambda Λ 矩阵中去.
给定一个对称矩阵,可以分解为三项,他完全展示了对称矩阵的特征值和特征向量以及其对称的性质。在数学上称为谱定理( Spectral theorem),这里指的是特征向量矩阵,不光是数学,光学和力学(主轴定理)也有类似的概念。
下面我们来探讨一下为什么是对称矩阵一定是一个实特征值。
A
x
=
λ
x
(3)
Ax=\lambda x\tag{3}
Ax=λx(3)
左右两边同时取共轭:
A
ˉ
x
ˉ
=
λ
ˉ
x
ˉ
(4)
\bar A \bar x=\bar\lambda\bar x\tag{4}
Aˉxˉ=λˉxˉ(4)
因为
A
A
A 是实矩阵所以:
A
x
ˉ
=
λ
ˉ
x
ˉ
(5)
A\bar x=\bar\lambda\bar x\tag{5}
Axˉ=λˉxˉ(5)
左右两边同时取转置:
x
ˉ
T
A
=
x
ˉ
λ
ˉ
(6)
\bar x^TA=\bar x\bar \lambda\tag{6}
xˉTA=xˉλˉ(6)
(6)左右两边乘以
x
x
x有:
x
ˉ
T
A
x
=
x
ˉ
T
λ
ˉ
x
(7)
\bar x^TA x=\bar x^T\bar \lambda x\tag{7}
xˉTAx=xˉTλˉx(7)
(3)左右两边同时乘以
x
ˉ
T
\bar x^T
xˉT有:
x
ˉ
T
A
x
=
λ
x
ˉ
T
x
(8)
\bar x^TAx=\lambda\bar x^Tx\tag{8}
xˉTAx=λxˉTx(8)
对比(7)(8)有:
x
ˉ
T
λ
ˉ
x
=
λ
x
ˉ
T
x
(9)
\bar x^T\bar \lambda x=\lambda\bar x^Tx\tag{9}
xˉTλˉx=λxˉTx(9)
因为
x
ˉ
T
x
\bar x^Tx
xˉTx不可能为零向量,所有:
λ
ˉ
=
λ
(10)
\bar \lambda=\lambda\tag{10}
λˉ=λ(10)
至此,可以说明其特征根一定是一个实数。
x ˉ T x = x ˉ 1 x 1 + x ˉ 2 x 2 + ⋯ + x ˉ n x n \bar x^Tx=\bar x_1x_1+\bar x_2x_2+\cdots+\bar x_nx_n xˉTx=xˉ1x1+xˉ2x2+⋯+xˉnxn,因为 ( a + b i ) ( a − b i ) = a 2 + b 2 > 0 (a+bi)(a-bi)=a^2+b^2\gt0 (a+bi)(a−bi)=a2+b2>0
假如 A A A不是一个实对称矩阵,而是一个复对称矩阵必须要满足 A = A ˉ T A=\bar A^T A=AˉT(百分之90都是实对称矩阵)。
继续讨论
A
=
Q
Λ
Q
T
A=Q\Lambda Q^T
A=QΛQT
Q
Λ
Q
T
=
[
q
1
q
2
⋯
q
n
]
[
λ
1
λ
2
]
[
q
1
T
q
2
T
⋮
q
n
T
]
=
λ
1
q
1
q
1
T
+
λ
2
q
2
q
2
T
+
⋯
+
λ
n
q
n
q
n
T
Q\Lambda Q^T=\begin{bmatrix}q_1&q_2&\cdots&q_n\end{bmatrix}\begin{bmatrix}\lambda_1& & & &\\ &\lambda_2\\& & & & \end{bmatrix}\begin{bmatrix}q_1^T\\q_2^T\\\vdots\\q_n^T\end{bmatrix}=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\cdots+\lambda_nq_nq_n^T
QΛQT=[q1q2⋯qn]
λ1λ2
q1Tq2T⋮qnT
=λ1q1q1T+λ2q2q2T+⋯+λnqnqnT
向量投影矩阵的公式为 P = a a T a T a P=\frac{aa^T}{a^Ta} P=aTaaaT,如果 a T a = 1 a^Ta=1 aTa=1,那么投影矩阵就是 a a T . aa^T. aaT.
也就是说每一个对称矩阵都是一些相互垂直的投影矩阵的组合。
二、正定性
计算一个50阶的矩阵的特征值,显然,手工计算不是一个明智的选择。但是我们能够通过一些方法来辅助、界定这些特征值,比如说主元正负:
- 主元的符号与特征值的符号相同
- 正主元个数等于正特征值个数
正定矩阵(Positive definite symmetric matrix):
- 所有特征值都为正数
- 所有主元都为正数
- 所有子行列式都是正数
只要满足上述的一个条件,其它两个条件也是满足的,这样的矩阵称为正定矩阵。
[1] 方阵可对角化