转置矩阵
内积具有重要意义,那么如何计算变换后两个向量的内积呢?
向量 v , w \mathbf{v},\mathbf{w} v,w 经变换矩阵 A A A 变换为向量 A v , A w A\mathbf{v},A\mathbf{w} Av,Aw ,内积按矩阵乘法计算,就是向量 A v A\mathbf{v} Av 对应的行向量和向量 A w A\mathbf{w} Aw 的乘积。如何表示向量 A v A\mathbf{v} Av 对应的行向量呢?
行向量就是向量旋转,数值和向量 A v A\mathbf{v} Av 一样。向量 A v A\mathbf{v} Av 是向量组的线性组合,那行向量也是其线性组合,只是旋转了,所以行向量可以表示为:把矩阵 A A A 的列向量旋转为行向量,然后求线性组合。所以需要定义一种操作,把矩阵的列向量旋转为行向量,这就是矩阵转置。
定义 转置矩阵 把矩阵 A A A 的第 i i i 个列向量旋转为第 i i i 个行向量,得到一个新矩阵,叫做 A A A 的转置矩阵,记作 A T A^T AT 。
例如矩阵
A
=
[
0
3
1
4
2
5
]
A
T
=
[
0
1
2
3
4
5
]
A = \left[ \begin{matrix} 0 & 3 \\ 1 & 4 \\ 2 & 5 \end{matrix} \right] \qquad A^T = \left[ \begin{matrix} 0 & 1 & 2 \\ 3 & 4 & 5 \end{matrix} \right]
A=⎣⎡012345⎦⎤AT=[031425]
所以列向量
v
\mathbf{v}
v 转置就是行向量
v
T
\mathbf{v^T}
vT ,行向量是列向量的转置。
重要性质 ( A v ) T = v T A T (A\mathbf{v})^T = \mathbf{v^T}A^T (Av)T=vTAT 。
变换向量的内积为
(
A
v
,
A
w
)
=
(
A
v
)
T
(
A
w
)
=
v
T
A
T
A
w
=
v
T
(
A
T
A
)
w
(A\mathbf{v},A\mathbf{w}) = (A\mathbf{v})^T(A\mathbf{w}) = \mathbf{v^T}A^TA\mathbf{w}=\mathbf{v^T}(A^TA)\mathbf{w}
(Av,Aw)=(Av)T(Aw)=vTATAw=vT(ATA)w
上式是四个矩阵相乘,结果是个数,大家一定要习惯矩阵表达式。
矩阵乘积
A
T
A
A^TA
ATA 很重要,我们来计算下
A
=
[
a
1
,
a
2
,
⋯
,
a
n
]
A
T
=
[
a
1
T
a
2
T
⋮
a
n
T
]
A
T
A
=
[
a
1
T
a
1
a
1
T
a
2
⋯
,
a
1
T
a
n
⋮
a
n
T
a
1
a
n
T
a
2
⋯
,
a
n
T
a
n
]
A = \left[ \mathbf{a_1},\mathbf{a_2},\cdots,\mathbf{a_n}\right] \quad A^T = \left[ \begin{matrix} \mathbf{a^T_{1}} \\ \mathbf{a^T_{2}} \\ \vdots \\ \mathbf{a^T_{n}} \end{matrix} \right] \\ A^TA= \left[ \begin{matrix} \mathbf{a^T_{1}}\mathbf{a_1} & \mathbf{a^T_{1}}\mathbf{a_2} \cdots, \mathbf{a^T_{1}}\mathbf{a_n}\\ \vdots \\ \mathbf{a^T_{n}}\mathbf{a_1} & \mathbf{a^T_{n}}\mathbf{a_2} \cdots, \mathbf{a^T_{n}}\mathbf{a_n} \end{matrix} \right]
A=[a1,a2,⋯,an]AT=⎣⎢⎢⎢⎡a1Ta2T⋮anT⎦⎥⎥⎥⎤ATA=⎣⎢⎡a1Ta1⋮anTa1a1Ta2⋯,a1TananTa2⋯,anTan⎦⎥⎤
矩阵第
i
i
i 行第
j
j
j 列的数值是矩阵
A
A
A 的第
i
i
i 个列向量与矩阵
A
A
A 的第
j
j
j 个列向量的内积。对任意矩阵
A
m
n
A_{mn}
Amn,
A
T
A
A^TA
ATA 是
n
n
n 阶方阵。
另一个与矩阵
A
A
A 密切相关的矩阵是
A
A
T
AA^T
AAT ,我们来计算下
A
A
T
=
a
1
a
1
T
+
a
2
a
2
T
+
⋯
+
a
n
a
n
T
AA^T = \mathbf{a_1}\mathbf{a^T_{1}}+\mathbf{a_2}\mathbf{a^T_{2}}+\cdots+\mathbf{a_n}\mathbf{a^T_{n}}
AAT=a1a1T+a2a2T+⋯+ananT
是
n
n
n 个简单矩阵之和,每个简单矩阵是矩阵
A
A
A 的列向量与列向量的外积。
A
A
T
AA^T
AAT 是
m
m
m 阶方阵。
矩阵转置也可以看作一种运算,满足如下性质
(
A
T
)
T
=
A
(
A
+
B
)
T
=
A
T
+
B
T
(
λ
A
)
T
=
λ
A
T
(
A
B
)
T
=
B
T
A
T
(A^T)^T=A \\ (A+B)^T=A^T+B^T \\ (\lambda A)^T=\lambda A^T \\ (AB)^T=B^TA^T
(AT)T=A(A+B)T=AT+BT(λA)T=λAT(AB)T=BTAT
前3个很明显,证最后一个。
证:根据 ( A v ) T = v T A T (A\mathbf{v})^T = \mathbf{v^T}A^T (Av)T=vTAT , v \mathbf{v} v 取矩阵 B B B 的每个列向量时得 ( A b 1 ) T = b 1 T A T , ⋯ , ( A b n ) T = b n T A T (A\mathbf{b_1})^T = \mathbf{b^T_1}A^T ,\cdots ,(A\mathbf{b_n})^T =\mathbf{b^T_n}A^T (Ab1)T=b1TAT,⋯,(Abn)T=bnTAT ,合成矩阵形式即得。
方阵 A T A A^TA ATA 的转置矩阵是 ( A T A ) T = A T ( ( A T ) T ) = A T A (A^TA)^T = A^T((A^T)^T)=A^TA (ATA)T=AT((AT)T)=ATA ,等于自身。
定义 对称矩阵 设 S S S 为 n n n 阶方阵,如果满足 S T = S S^T = S ST=S ,那么 S S S 称为对称矩阵,简称对称阵。
对称矩阵具有十分重要的地位,专门用大写字母 S S S 表示对称阵。
方阵 A A T AA^T AAT 也是对称矩阵。
对称矩阵的特点是,第
i
i
i 个列向量数值上等于第
i
i
i 个行向量。下面两个矩阵都是对称阵。
S
=
[
0
2
2
1
]
S
=
[
1
4
5
4
2
6
5
6
3
]
S = \left[ \begin{matrix} 0 & 2 \\ 2 & 1 \\ \end{matrix} \right] \qquad S = \left[ \begin{matrix} 1 & 4 & 5 \\ 4 & 2 & 6 \\ 5 & 6 & 3 \end{matrix} \right]
S=[0221]S=⎣⎡145426563⎦⎤
排成表格时,数值以对角线为对称轴对应相等,所以称为对称矩阵。
内积和矩阵转置还有一个重要性质,
(
v
,
A
w
)
=
v
T
(
A
w
)
=
(
v
T
A
)
w
=
(
A
T
v
)
T
w
=
(
A
T
v
,
w
)
(\mathbf{v},A\mathbf{w})=\mathbf{v^T}(A\mathbf{w}) = (\mathbf{v^T}A)\mathbf{w} = (A^T\mathbf{v})^T\mathbf{w}=(A^T\mathbf{v},\mathbf{w})
(v,Aw)=vT(Aw)=(vTA)w=(ATv)Tw=(ATv,w)
向量
v
\mathbf{v}
v 与向量
w
\mathbf{w}
w 的变换向量(变换矩阵为
A
A
A )的内积等于向量
v
\mathbf{v}
v 的变换向量(变换矩阵为
A
T
A^T
AT )与向量
w
\mathbf{w}
w 的内积。当变换矩阵是对称阵时,
(
v
,
S
w
)
=
v
T
S
w
=
(
S
v
,
w
)
(\mathbf{v},S\mathbf{w})=\mathbf{v^T}S\mathbf{w}=(S\mathbf{v},\mathbf{w})
(v,Sw)=vTSw=(Sv,w)
公式中矩阵 S S S 处于对称位置,故称对称矩阵。