线性代数之 矩阵的迹

前言

本篇是矩阵迹的学习，迹(trace)常用于矩阵求导。

迹的定义

对于$A\in R^{n\times n}$，矩阵的迹trace，就是主对角线元素的和。

注意：方阵才有迹！

迹的性质

$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& a_{22}& \dots & a_{2n}\\ \dots & \dots & \dots & \dots \\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right]$$

---

性质0：标量的迹等于自己。

---

性质1：矩阵的迹等于其特征值之和。
证明：
$$\begin{gathered} 对于矩阵的特征值有： \\ Ax=\lambda x,(\lambda E-A)x=0,x\ne \vec{0} \\ (\lambda E-A)=\left[\begin{array}{cccc}\lambda -a_{11}& a_{12}& \dots & a_{1n}\\ a_{21}& \lambda -a_{22}& \dots & a_{2n}\\ \dots & \dots & \dots & \dots \\ a_{n1}& a_{n2}& \dots & \lambda -a_{nn}\end{array}\right] \\ =(\lambda -a_{11})(\lambda -a_{22})\dots (\lambda -a_{nn})+\sum a_{1i}|A{|}_{1_i} \\ \sum a_{1i}|A{|}_{1_i}是第一行其它元素与其代数余子式的乘积的和 \\ \sum a_{1i}|A{|}_{1_i}的最高次项只有{\lambda }^{n-2} \\ 而特征方程有： \\ (\lambda -{\lambda }_1)(\lambda -{\lambda }_2)\dots (\lambda -{\lambda }_n)=0 \\ 比较{\lambda }^{n-1}项，可得\sum _{i=1}^n{a}_{ii}=\sum _{i=1}^n{\lambda }_i \\ tr(A)=\sum _{i=1}^n{\lambda }_i \end{gathered}$$

---

性质2：矩阵转置迹不变。
$$tr(A^T)=tr(A)$$
转置不影响主对角线元素。

---

性质3：矩阵乘法的迹满足交换律。
$$\begin{gathered} tr(AB)=tr(BA) \\ tr(ABC)=tr(BCA)=tr(CAB) \end{gathered}$$
证明：
$$\begin{gathered} tr(A{B}^T)=\sum _{i=1}^n\sum _{i=1}^n{a}_{ii}{b}_{ii} \\ tr(A^{T}B)=\sum _{i=1}^n\sum _{i=1}^n{b}_{ii}{a}_{ii}=tr(B^{T}A)=tr(A{B}^T) \end{gathered}$$

---

性质4（性质3的证明中的推广）：$A\in R^{m\times n}$，$A,B$同型，则$tr(A{B}^T)$是$A,B$对应位置元素乘积的和，相当于矩阵点积。

当$A,B$退化为向量时，性质4就变成了向量点积：
$$tr(a{b}^T)=tr(b^{T}a)=b^{T}a$$
性质5：线性。
$$tr(c_{1}A+c_{2}B)=c_{1}tr(A)+c_{2}tr(B)$$

后记

矩阵的迹性质还是挺简单的，但是涉及到矩阵的迹的求导时，就复杂了许多。

需要注意，性质3及其证明是矩阵求导中的常见操作。