the-matrix-cookbook(1-1)

UTF8gbsn

Trace

11. $\mathrm{Tr}(\mathbf{A})={\sum }_i{A}_{ii}$
    这是迹的定义,这里无需证明.

12. $\mathrm{Tr}(\mathbf{A})={\sum }_i{\lambda }_i,{\lambda }_i=\mathrm{eig}(\mathbf{A})$

    这个证明实际上较为复杂.我们来看看如何一步一步里证明.

    $$|A-\lambda I|=0$$

    我们知道一个n阶多项式方程,具有n个根(这里不做证明).也就是说,一个n阶矩阵具有n个特征值(包含重根).那么来看看为什么$|A-\lambda I|=0$的根就是矩阵A的特征值.

    我们先来为什么方正A的特征值就是$|A-\lambda I|=0$的根.

    1. 首先从特征值,和特征向量的定义出发
       $$Av=\lambda v\Rightarrow (A-\lambda I)v=0$$

    2. 上面右边的方程组要想解出非 0
       解的话.必须满足$|A-\lambda I|=0$.于是乎,我们发现只要是能使$|A-\lambda I|=0$的$\lambda$都是特征值.因为一定可以找到非0的v使得$Av=\lambda v$成立.

       至于为什么齐次方程组的行列式为0,方程组就有非0解.这里不做证明.请参考线代的书籍.

    3. $|A-\lambda I|=0$正是一个n次方程,故而有n个根(包含重根).而这些根都是A的特征值.

    再来看看如何证明${\sum }_{i=1}{\lambda }_i={\sum }_{i=1}{a}_{ii}$.证明这个东西其实也比较简单.需要运用多项式的系数.

    1. 首先来看看$|A-\lambda I|=0$,因为这个方程在复数域有n个根,那么我们可以把它改写为
       $$(\lambda -{\lambda }_1)(\lambda -{\lambda }_2)\cdots (\lambda -{\lambda }_n)=0$$
       其中${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$就是n个特征值.

    2. 我们来看看这个方程的${\lambda }^{n-1}$的系数.通过上面的方程,我们可以很容易计算${\lambda }^{n-1}$为

       $$-({\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n){\lambda }^{n-1}$$

    3. 再次的我们可以通过$|A-\lambda I|=0$来求${\lambda }^{n-1}$项.

       $$\left(\begin{array}{cccc}{a}_{11}-\lambda & a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}-\lambda & \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}-\lambda \end{array}\right)=0$$

       这个式子的${\lambda }^{n-1}$的系数是什么?

       其实很简单,根据行列式的定义我们可以知道.非住对角元素的乘积.其他的累加项的次数最高为${\lambda }^{n-2}$,所以这个式子的${\lambda }^{n-1}$项只会出现在

       $$(a_{11}-\lambda )(a_{22}-\lambda )\cdots (a_{nn}-\lambda )$$

       这个式子的${\lambda }^{n-1}$项的系数为

       $$-(a_{11}+a_{22}+\cdots +a_{nn}){\lambda }^{n-1}$$

    4. 有因为

       $$(\lambda -{\lambda }_1)(\lambda -{\lambda }_2)\cdots (\lambda -{\lambda }_n)=|A-\lambda I|$$

       所以原式得证.

    PS:一个n阶方正A的非线性相关的特征向量不一定有n个.这样的矩阵都是不能对角化的.因为可以对角化的方正A,正好会含有n个非线性相关的特征向量.比如矩阵

    $$\left(\begin{array}{cccc}1& 1& 1& 1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)$$

    就不能对角话

13. $\mathrm{Tr}(\mathbf{A})=\mathrm{Tr}\left({\mathbf{A}}^T\right)$

    转置矩阵于原来的矩阵对角线元素相同.(得证)

14. $\mathrm{Tr}(\mathbf{A}\mathbf{B})=\mathrm{Tr}(\mathbf{B}\mathbf{A})$

    • AB的对角线元素为$d_{ii}={\sum }_{k=1}^n{a}_{i,k}{b}_{k,i}$,而累加的结果为${\sum }_{i=1}^n{d}_{ii}={\sum }_{i=1}^n{\sum }_{k=1}^n{a}_{i,k}{b}_{k,i}$

    • BA的对角线元素为$d_{ii}={\sum }_{k=1}^n{b}_{i,k}{a}_{k,i}$,而累加的结果为${\sum }_{i=1}^n{d}_{ii}={\sum }_{i=1}^n{\sum }_{k=1}^n{b}_{i,k}{a}_{k,i}$

    • 我们可以对BA的累加结果进行变换,如果我们交换i,k的label.可得
      $$\sum _{k=1}^n\sum _{i=1}^n{b}_{k,i}{a}_{i,k}=\sum _{k=1}^n\sum _{i=1}^n{a}_{i,k}{b}_{k,i}=\sum _{i=1}^n\sum _{k=1}^n{a}_{i,k}{b}_{k,i}$$

    由此可见原式得证.

15. $\mathrm{Tr}(\mathbf{A}+\mathbf{B})=\mathrm{Tr}(\mathbf{A})+\mathrm{Tr}(\mathbf{B})$

    • 左边等于${\sum }_{i=1}^n(a_{ii}+b_{ii})$

    • 右边等于${\sum }_{i=1}^n{a}_{ii}+{\sum }_{i=1}^n{b}_{ii}={\sum }_{i=1}^n(a_{ii}+b_{ii})$

    原式得证

16. $\mathrm{Tr}(\mathbf{A}\mathbf{B}\mathbf{C})=\mathrm{Tr}(\mathbf{B}\mathbf{C}\mathbf{A})=\mathrm{Tr}(\mathbf{C}\mathbf{A}\mathbf{B})$

    可以利用14的结论来证明即可.

17. ${\mathbf{a}}^T\mathbf{a}=\mathrm{Tr}\left({\mathbf{a}\mathbf{a}}^T\right)$

    • 左边${\sum }_{i=1}^n{a}_i{a}_i$

    • 右边对角线元素为$d_{ii}=a_i{a}_i\Rightarrow Tr={\sum }_{i=1}^n{a}_i{a}_i$

    原式得证