矩阵分析与应用+张贤达

1. 矩阵微分的常用法则

令$A,B$为常数矩阵，并且$U,V,W,X$为矩阵函数。下面汇总了矩阵微分的常用法则
(1)常数矩阵的微分矩阵为零矩阵，即
$$dA=O$$
(2)常数$\alpha$与矩阵函数$U$的乘积的微分矩阵，即
$$d(\alpha U)=\alpha dU$$
(3)矩阵转置的微分矩阵等于原矩阵的微分矩阵的转置，即
$$d(U^T)=(dU{)}^T$$
(4)两个矩阵函数的和(差)的微分矩阵为
$$d(U+V)=dU\pm dV$$
(5)常数矩阵与矩阵的数乘积的微分矩阵为
$$d(AXB)=A(dX)B$$
(6)矩阵函数乘积的微分矩阵为
$$d(UV)=(dU)V+U(dV)$$
$$d(UVW)=(dU)VW+U(dV)W+UV(dW)$$
特别地，若$A$为常数矩阵，则
$$d(XA{X}^T)=(dX)A{X}^T+XA(dX{)}^T$$
$$d(X^{T}AX)=(dX{)}^{T}AX+X^{T}AdX$$
(7)矩阵函数的Kronecker积的微分矩阵为
$$d(U\otimes V)=(dU)\otimes V+U\otimes dV$$
(8)矩阵函数的Hadamard积的微分矩阵，为
$$d(U\odot V)=(dU)\odot V+U\odot dV$$
(9)向量化函数$vec(U)$的微分矩阵等于$U$的微分矩阵的向量化函数，即
$$d(vec(U))=vec(dU)$$
(10)行列式的微分为
$$d|X|=|X|tr(X^{-1}dX)$$
(11)矩阵$U$的迹的微分$d(trU)$等于微分矩阵$dU$的迹$tr(dU)$，即有
$$d(tr(U))=tr(dU)$$
$$d(tr(X^{T}X))=2tr(X^{T}dX)$$
(12)逆矩阵的微分矩阵为
$$d(X^{-1})=-X^{-1}(dX)X^{-1}$$
(13)Moore-Penrose逆矩阵的微分矩阵为
$$d(X^{+})=-X^{+}(dX)X^{+}+X^{+}(X^{+})T(d{X}^T)(I-X{X}^{+})+(I-X^{+}X)(d{X}^T)(X^{+}{)}^T{X}^{+}$$
$$d(X^{+}X)=X^{+}(dX)(I-X^{+}X)+(X^{+}(dX)(I-X^{+}X){)}^T$$
$$d(X{X}^{+})=(I-X{X}^{+})(dX)X^{+}+((I-X{X}^{+})(dX)X^{+}{)}^T$$
(14)矩阵对数的微分矩阵为
$$dlogX=X^{-1}dX$$
$$dlog(X^{T}AX)=X^{T}A{X}^{-1}[(dX{)}^{T}AX+X^{T}AdX]$$

例5.3.10
考虑例5.1.7的CDMA系统中，仍然共有K个用户在通信，但每个用户的扩频波形向量变成复向量$s_k(t)$，接收信号向量$y$也为复向量。此时，设计多用户检测器$M$的目标函数变为
J ( M ) = E { ∣ ∣ b − M y ∣ ∣ 2 2 } J(M)=E\{||b-My||_2^2\} J(M)=E{∣∣b−My∣∣22​}
$$=tr(cov(b-My))$$
$$=tr(I)+tr(M(R{A}^{2}R+{\sigma }^{2}R)M^H)-tr(AR{M}^H)-tr(MRA)$$
易求出
$$\frac{\partial J(M)}{\partial M^{\ast }}=M(R{A}^{2}R+{\sigma }^{2}R)-AR$$
令其等于零，并假定$R$非奇异，立即有
$$M=A(R{A}^2+{\sigma }^{2}I{)}^{-1}$$
这里的检测器为复矩阵。

2. 矩阵的奇异值分解

令$A\in R_{m\times n}$(或$C_{m\times n}$)，则存在正交(或西)矩阵$U\in R_{m\times m}$(或$C_{m\times m}$)和$V\in R_{n\times n}$(或$C_{n\times n}$)使得
$$A=U\Sigma V^T(或U\Sigma V^H)$$
式中
$$\Sigma =\left[\begin{array}{cc}{\Sigma }_1& O\\ O& O\end{array}\right]$$
且${\Sigma }_1=diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r)$，其对角元素按照顺序
$${\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_r>0,r=rank(A)$$
排列。