迹函数回顾

迹函数

在线性代数中，一个n×n矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作 $\mathrm{T}\mathrm{r}(A)$。

矩阵的迹表示的是特征值的和，它不随基的变化而变化。通常，这种特性可以用来定义线性算子的轨迹。（注意：迹是对方阵而言的）

常用性质：

1. 迹是所有主对角元素的和
2. 迹是所有特征值的和
3. 某些时候也利用 $\mathrm{T}\mathrm{r}(AB)=\mathrm{T}\mathrm{r}(BA)$来求迹
4. $\mathrm{T}\mathrm{r}(mA+nB)=m\mathrm{T}\mathrm{r}(A)+n\mathrm{T}\mathrm{r}(B)$，迹是满足线性映射的.
5. $\mathrm{T}\mathrm{r}(A{A}^T)=\mathrm{T}\mathrm{r}(A^{T}A)$
6. $\mathrm{T}\mathrm{r}(A^{T}B)=\mathrm{T}\mathrm{r}(B{A}^T)=\mathrm{T}\mathrm{r}(B^{T}A)=\mathrm{T}\mathrm{r}(A{B}^T)={\sum }_{i,j}{A}_{i,j}{B}_{i,j}$
7. 矩阵乘积的迹 $\mathrm{T}\mathrm{r}(ABC)=\mathrm{T}\mathrm{r}(CBA)=\mathrm{T}\mathrm{r}(BCA)$
8. $\mathrm{T}\mathrm{r}(P^{-1}AP)=\mathrm{T}\mathrm{r}(P^{-1}(AP))=\mathrm{T}\mathrm{r}((AP)P^{-1})=\mathrm{T}\mathrm{r}(A(P{P}^{-1}))=\mathrm{T}\mathrm{r}(A)$

基本求导法则：

1. $\frac{\mathrm{d}{X}^T}{\mathrm{d}X}=\frac{\mathrm{d}X}{\mathrm{d}{X}^T}=\mathrm{E}$
2. $\frac{\mathrm{d}(AX{)}^T}{\mathrm{d}X}=A^T$
3. $\frac{\mathrm{d}(AX)}{\mathrm{d}{X}^T}=A$
4. $\frac{\mathrm{d}(X^{T}X)}{\mathrm{d}X}=2X$
5. $\frac{\mathrm{d}(X^{T}AX)}{\mathrm{d}X}=(A+A^T)X$

参考 矩阵的迹和导数的主要性质

奇异值分解（Singular value decomposition ）

奇异值分解非常有用，对于矩阵 $A(p\times q)$，存在 $U(p\times p)，V(q\times q)，B(p\times q)$（由对角阵与增广行或列组成），满足 $A=UBV$, $U$ 和 $V$ 中分别是 $A$ 的奇异向量，而 $B$ 是 $A$ 的奇异值。$A{A}^{\prime }$ 的特征向量组成 $U$，特征值组成 $B^{T}B$；$A^{T}A$ 的特征向量组成 $V$，特征值（与 $A{A}^T$ 相同）组成 $B{B}^T$。因此，奇异值分解和特征值问题紧密联系。

如果 $A$ 是复矩阵，$B$ 中的奇异值仍然是实数。

SVD 提供了一些关于 $A$ 的信息，例如非零奇异值的数目（$B$ 的阶数）和 $A$ 的阶数相同，一旦阶数确定，那么 $U$ 的前 $k$ 列构成了 $A$ 的列向量空间的正交基。

待补充