矩阵的迹与矩阵微商

矩阵的迹与矩阵微商

最近学习多元统计分析，使用的教材是《应用多元统计分析》（高惠璇）。在做第二章作业时遇到一些困难，但在附录中找到了部分适用结论，现搬运如下，并对部分关于迹的结论尝试证明。

1.矩阵的迹

定义：设$A$为$p$阶方阵，则它的对角线元素之和称为$A$的迹(trace)，记作$\mathrm{t}\mathrm{r}(A)$，即
$$\mathrm{t}\mathrm{r}(A)=a_{11}+\cdots +a_{pp}.$$
性质1：若${\lambda }_1,\cdots ,{\lambda }_p$为$A$的特征值，则$\mathrm{t}\mathrm{r}(A)={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_p$。

矩阵$A$的特征多项式为$f(\lambda )=|\lambda I-A|$，其中必定包含以下一项：$(\lambda -a_{11})(\lambda -a_{22})\cdots (\lambda -a_{pp})$，且由行列式的定义，与这一项不同的项至少包含一个$(-a_{ij})$，从而不能够包含$(\lambda -a_{ii})$与$(\lambda -a_{jj})$，那么至多只有${\lambda }^{n-2}$的次数。

因此，我们得到${\lambda }^{n-1}$项之前的系数一定是$-(a_{11}+\cdots +a_{pp})$。又因为
$$|\lambda I-A|=(\lambda -{\lambda }_1)\cdots (\lambda -{\lambda }_n),$$
所以${\lambda }^{n-1}$项前的系数一定是$-({\lambda }_1+\cdots +{\lambda }_n)$，所以有
$$a_{11}+a_{22}+\cdots +a_{pp}=\mathrm{t}\mathrm{r}(A)={\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n.$$

性质2：对于$n$阶方阵$A,B$，$\mathrm{t}\mathrm{r}(AB)=\mathrm{t}\mathrm{r}(BA)$。

假设$A=(a_{ij}),B=(b_{ij})$，则
$$\begin{gathered} \mathrm{t}\mathrm{r}(AB)=\sum _{k=1}^n(AB{)}_{kk}=\sum _{k=1}^n\left(\sum _{i=1}^n{a}_{ki}{b}_{ik}\right), \\ \mathrm{t}\mathrm{r}(BA)=\sum _{k=1}^n(BA{)}_{kk}=\sum _{k=1}^n\left(\sum _{i=1}^n{b}_{ki}{a}_{ik}\right)=\sum _{i=1}^n\left(\sum _{k=1}^n{a}_{ik}{b}_{ki}\right). \end{gathered}$$
对比两式就得到结果。

性质3：$\mathrm{t}\mathrm{r}(A)=\mathrm{t}\mathrm{r}(A^{\prime })$。

性质4：$\mathrm{t}\mathrm{r}(A+B)=\mathrm{t}\mathrm{r}(A)+\mathrm{t}\mathrm{r}(B)$。

性质5：$\mathrm{t}\mathrm{r}({\sum }_{\alpha =1}^k{A}_{\alpha })={\sum }_{\alpha =1}^n\mathrm{t}\mathrm{r}(A_{\alpha })$。

以上三条性质是显然的。

性质6：若$A$为投影矩阵，则$\mathrm{t}\mathrm{r}(A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$，投影矩阵指对称的幂等矩阵。

需要用到的准备知识是，对称矩阵必定可以正交对角化，幂等矩阵的特征值为$0$或$1$。

由于$A$是对称矩阵，所以存在一个正交矩阵$\Gamma$和对角矩阵$V=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,\cdots ,{\lambda }_n)$，使得
$$A={\Gamma }^{\prime }V\Gamma ,\mathrm{t}\mathrm{r}(A)=\mathrm{t}\mathrm{r}({\Gamma }^{\prime }V\Gamma )=\mathrm{t}\mathrm{r}(V)=\sum _{i=1}^n{\lambda }_i.$$
又因为幂等矩阵的特征值只能为0或1，所以$\mathrm{t}\mathrm{r}(A)$等于特征值中1的个数，即矩阵$A$的秩。

2.矩阵微商

分为以下几种情况。

1.自变量是一元变量$x$

如果$y=(y_1,\cdots ,y_p{)}^{\prime }$是关于$x$的向量函数，则
$$\frac{\mathrm{d}y}{\mathrm{d}x}={\left(\frac{\mathrm{d}{y}_1}{\mathrm{d}x},\frac{\mathrm{d}{y}_2}{\mathrm{d}x},\cdots ,\frac{\mathrm{d}{y}_p}{\mathrm{d}x}\right)}^{\prime }.$$
也就是说，$p$维向量$y$对变量$x$的导数仍然是$p$维向量，称为导数向量。

如果$Y=F(x)$是$x$的矩阵函数，$Y=(y_{ij})$是$p\times q$矩阵，则
$$\frac{\mathrm{d}Y}{\mathrm{d}x}={\left(\frac{\mathrm{d}{y}_{ij}}{\mathrm{d}x}\right)}_{p\times q}.$$
也就是说，$p\times q$矩阵$Y$对变量$x$的导数仍然是$p\times q$矩阵，称为导数矩阵。

2.自变量是$p$维向量$x=(x_1,\cdots ,x_p{)}^{\prime }$

如果$y=f(x)$是$x$的一元函数，令其他为常数，$x_i$为常数求导可以求得$y$对$x_i$的偏导数，则
$$\frac{\partial f}{\partial x}={\left(\frac{\partial f}{\partial x_1},\cdots ,\frac{\partial f}{\partial x_p}\right)}^{\prime }.$$
也就是说，一元函数$f$对向量$x$的导数是$p$为向量，称为偏导数向量。

如果$y=(y_1,\cdots ,y_q{)}^{\prime }$是向量$x$的$q$维向量函数，即$y_i=f_i(x)$，则
$$\frac{\partial y}{\partial x}={\left(\frac{\partial y_i}{\partial x_j}\right)}_{p\times q}=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_q}{\partial x_1}\\ ⋮& & ⋮\\ \frac{\partial y_1}{\partial x_p}& \cdots & \frac{\partial y_q}{\partial x_p}\end{array}\right].$$
也就是说，$q$维向量$y$对$p$维向量$x$的导数是$p\times q$矩阵，称为偏导数矩阵。特别当$p=q$时，该矩阵的行列式称为Jacobian行列式。

如果$Y$是$n$阶方阵，即$Y=(y_{ij}{)}_{n\times n}$，则
$$\frac{\partial Y}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_{11}}{\partial x_1}& \frac{\partial y_{12}}{\partial x_2}& \cdots & \frac{\partial y_{1n}}{\partial x_n}\\ \frac{\partial y_{21}}{\partial x_1}& \frac{\partial y_{22}}{\partial x_2}& \cdots & \frac{\partial y_{2n}}{\partial x_n}\\ ⋮& ⋮& & ⋮\\ \frac{\partial y_{n1}}{\partial x_1}& \frac{\partial y_{n2}}{\partial x_2}& \cdots & \frac{\partial y_{nn}}{\partial x_n}\end{array}\right].$$
也就是说，$n$阶方阵$Y$对$n$维矩阵$x$的导数是$n$阶方阵。

自变量是矩阵$X$

如果$y=f(X)$是$X$的一元函数，则
$$\frac{\partial f}{\partial X}=\left[\frac{\partial f}{\partial X_{ij}}\right].$$
也就是说，标量$y$对矩阵$X$的导数是一个矩阵，称为梯度矩阵。如果联系上矩阵微分，则有
$$\mathrm{d}f=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}\mathrm{d}{X}_{ij}=\mathrm{t}\mathrm{r}\left({\frac{\partial f}{\partial X}}^{\prime }\mathrm{d}X\right)$$

常用结论

这里$\beta ,x$是（列）向量，$A,B,C$是与$x$无关的矩阵。

(1)
$$\frac{\partial {\beta }^{\prime }x}{\partial x}=\beta .$$
设$\beta =(b_1,\cdots ,b_n{)}^{\prime },x=(x_1,\cdots ,x_n)$，则${\beta }^{\prime }x=\sum _{i=1}^n{b}_i{x}_i$，故
$$\frac{\partial {\beta }^{\prime }x}{\partial x_i}=b_i,\frac{\partial {\beta }^{\prime }x}{\partial x}=(b_1,\cdots ,b_n{)}^{\prime }=\beta .$$
(2)
$$\frac{\partial x^{\prime }x}{\partial x}=2x.$$
$x^{\prime }x={\sum }_{i=1}^n{x}_i^2$，故
$$\frac{\partial x^{\prime }x}{\partial x_i}=2x_i,\frac{\partial x^{\prime }x}{\partial x}=2(x_1,\cdots ,x_n{)}^{\prime }=2x.$$
(3)
$$\frac{\partial x^{\prime }Ax}{\partial x}=(A+A^{\prime })x.$$
设$A=(a_{ij}{)}_{n\times n}$，则$x^{\prime }Ax=\sum _{i=1}^n\sum _{j=1}^n{x}_i{x}_j{a}_{ij}$，所以
$$\frac{\partial x^{\prime }Ax}{\partial x_i}=\sum _{k=1}^n{x}_k{a}_{ik}+\sum _{k=1}^n{x}_k{a}_{ki}=x^{\prime }{a}_{i\cdot }+x^{\prime }{a}_{\cdot i},$$
于是
$$\frac{\partial x^{\prime }Ax}{\partial x}=(x^{\prime }[(\begin{array}{cccc}{a}_{1\cdot }& a_{2\cdot }& \cdots & a_{n\cdot }\end{array})+(\begin{array}{cccc}{a}_{\cdot 1}& a_{\cdot 2}& \cdots & a_{\cdot n}\end{array})]{)}^{\prime }=(x^{\prime }(A+A^{\prime }){)}^{\prime }=(A+A^{\prime })x.$$

(4)当$A$为实对称矩阵时，
$$\frac{\partial x^{\prime }Ax}{\partial A}=x{x}^{\prime }.$$
由于$x^{\prime }Ax=\sum _{i=1}^n\sum _{j=1}^n{x}_i{x}_j{a}_{ij}$，所以
$$\frac{\partial x^{\prime }Ax}{\partial a_{ij}}=x_i{x}_j,$$
所以
$$\frac{\partial x^{\prime }Ax}{\partial A}=(x_i{x}_j{)}_{n\times n}=x{x}^{\prime }.$$
(5)当$A$为实对称矩阵时，
$$\frac{\partial \ln |A|}{\partial A}=A^{-1}.$$

这里
$$\mathrm{d}\ln |A|=|A{|}^{-1}d|A|=\mathrm{t}\mathrm{r}(A^{-1}\mathrm{d}A).$$