The Matrix Cookbook(译)二

The Matrix Cookbook(译)二

一、导数

1)、X表示一个无特殊结构的矩阵。$\frac{\partial X_{kl}}{\partial X_{ij}}=\delta_{ik}\delta_{lj}$

2)、x，y表示向量：$\bigg{[}\frac{\partial\bf{x}}{\partial y}\bigg{]}_i=\frac{\partial\bf{x}_i}{\partial y},\bigg{[}\frac{\partial x}{\partial\bf{y}}\bigg{]}_i=\frac{\partial x}{\partial \bf{y}_i},\bigg{[}\frac{\partial \bf{x}}{\partial\bf{y}}\bigg{]}_{ij}=\frac{\partial \bf{x}_i}{\partial \bf{y}_j}$

3)、Rules:

$\partial A=0,A是一个常数\\\partial(\alpha X)=\alpha\partial X\\\partial(X+Y)=\partial X+\partial Y\\\partial(Tr(X))=Tr(\partial X)\\\partial(XY)=(\partial X)+X(\partial Y)\\\partial(X\circ Y)=(\partial X)\circ Y+X\circ(\partial Y)\\\partial(X\otimes Y)=(\partial X)\otimes Y+X\otimes(\partial Y)\\\partial(X^{-1})=-X^{-1}(\partial X)X^{-1}\\\partial(\det(X))=Tr(adj(X)\partial X)=\det(X)Tr(X^{-1}\partial X)\\\partial(\ln(\det(X)))=Tr(X^{-1}\partial X)\\\partial X^T=(\partial X)^T\\\partial X^H=(\partial X)^H$

三、逆

基础

1、$A\in\mathbb{C}^{n\times n},AA^{-1}=A^{-1}A=I,I$是$n\times n$的单位矩阵，如果$A^{-1}$存在，则称$A$是非奇异的，否则称奇异的。

2、$[A]_{ij}$表示从矩阵$A$在删除第$i$行$j$列后的子矩阵，$cof(A,i,j)=(-1)^{i+j}\det([A]_{ij}),cof(A)$是以$cof(A,i,j)$组成的矩阵，$A$的伴随矩阵为$adj(A)=(cof(A))^T$，$A$的行列式为$\det(A)=\sum\limits_{j=1}^nA_{1j}cof(A,1,j)$。

$$A^{-1}=\frac{1}{\det(A)}\cdot adj(A)\nonumber$$
4、 条件数： $c(A)=\Vert A\Vert\cdot\Vert A^{-1}\Vert$

伪逆

$A^+$满足条件：$AA^+A=A;A^+AA^+=A^+;AA^+,A^+A$对称。

1、假设$A, n\times m$满秩，若$A$是方阵，$A^+=A^{-1}$；若$A$不是方阵且$rank(A)=n$，则$A^+=A^T(AA^T)^{-1}$(“右逆”)；若$A$不是方阵且$rank(A)=m$，则$A^+=(A^TA)^{-1}A^T$(“左逆”)。

2、若$A$不是满秩，即$A n\times m,rank(A)=r<\min(n,m)$，伪逆矩阵由奇异值分解得到：$A=UDV^T,A^+=V_rD^{-1}_rU^T_r$。