矩阵乘以其矩阵转置

在推导公式和计算中，常常能碰到矩阵乘以其矩阵转置，在此做个总结。

1.假设矩阵A是一个 $m\ast n$ 矩阵，那么
$A\ast A^T$ 得到一个 $m\ast m$ 矩阵，$A^T\ast A$ 得到一个 $n\ast n$ 的矩阵，这样我们就能得到一个方矩阵。
看一个例子:

$X\theta =H$ 求解$\theta$.
$X^{T}X\theta =X^{T}H$ 这个矩阵X我们不能确定是否是方矩阵，所以我们在其左侧同时乘以X矩阵的转置，这样 就在$\theta$ 的左侧得到一个方矩阵。
$(X^{T}X{)}^{-1}{X}^{T}X\theta =(X^{T}X{)}^{-1}{X}^{T}H$ 再在等式的两边乘以$X^{T}X$的逆，就变成了单位矩阵$I$和$\theta$相乘，这样我们就得到了$\theta$的解:
$\theta =(X^{T}X{)}^{-1}{X}^{T}H$

2.对称矩阵
如果方阵A满足$A^T=A$,就称A为对称矩阵。
假设$A=X^{T}X$,A的转置$A^T=(X^{T}X{)}^T=X^{T}X=A$,所以我们可以说$(X^{T}X)$是一个对称矩阵。对称矩阵的特征向量两两正交。 ¹

3.奇异值分解(SVD)
我们可以用与A相关的特征分解来解释A的奇异值分解。A的左奇异向量是$A{A}^T$的特征向量，A的右奇异向量是$A^{T}A$的特征向量，A的非零奇异值是$A^{T}A$特征值的平方根，同时也是$A{A}^T$特征值的平方根。 ²

Reference:

---

1. https://blog.csdn.net/BingeCuiLab/article/details/47209037 ↩︎

2. Goodfellow I, Bengio Y, Courville A, et al. Deep learning[M]. Cambridge: MIT press, 2016. ↩︎