矩阵运算及求导

基本运算

  矩阵的常见运算如下：

符号	描述
$A^{-1}$	矩阵的逆
$\det (A)$	A的行列式
$Tr(A)$	矩阵的迹
$eig(A)$	矩阵的特征值
$A^T$	A的转置
$\Vert A\Vert$	A的范数
$A\circ B$	哈达玛积
$A\otimes B$	克罗内克积
$A^H$	A的共轭转置
$A^{\ast }$	A的伴随矩阵

运算规则

• $(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$
  *表示求逆，转置，共轭转置等运算

• $(A+B{)}^{\ast }=(A^{\ast }+B^{\ast })$
  *表示转置和共轭转置，对于只改变元素排列方式的运算，该运算性质都是成立的

  以上两个规则也适用于多个矩阵运算的情况

• $(A^{-1}{)}^T=(A^T{)}^{-1}(A^H{)}^{-1}=(A^{-1}{)}^H$

• $Tr(A)={\sum }_{i=1}^n{A}_{ii}$

• $Tr(A)={\sum }_{i=1}^n{\lambda }_i$
  $\lambda$为矩阵A的特征值

• $Tr(A)=Tr(A^T)$

• $Tr(AB)=Tr(BA)Tr(A+B)=Tr(A)+Tr(B)$
  这也适用于两个矩阵以上的情况

• $a^{T}a=Tr(a{a}^T)$
  a为列向量，这个很好理解，直接拿个例子计算一下就好了。$a^{T}a$的结果是数值，也可以看作一个1*1的矩阵，这样可以利用上一条规则直接得到。

求导运算

  矩阵的求导法则 这个部分参考了很多资料，但是有些地方不太一样，所以我按照我认为最正确的教程来。
  首先，矩阵的微分主要有6种形式，用表格表示如下：

下面分别对这6种情况进行说明：
这里的向量指的是列向量，我们用小写字母表示数值变量，黑体小写字母表示向量，黑体大写字母表示矩阵。

• Scalar-Scalar
  数值变量对数值变量求导是最简单的情况，也是数学里头经常遇到的，得到的结果是函数的导数。

• Vector-Scalar
  向量对数值变量求导，得到的是一个列向量。
  $$[\frac{\partial \text{y}}{\partial x}]=[\frac{\partial y_i}{\partial x}{]}^T$$

• Matrix-Scalar
  矩阵对数值变量求导，得到的是一个矩阵，该矩阵与原矩阵的形状相同。
  $$[\frac{\partial \text{Y}}{\partial x}]=[\frac{\partial y_{ij}}{\partial x}]$$

• Scalar-Vector
  数值变量对向量求导，得到的是一个行向量。
  $$[\frac{\partial y}{\partial \text{x}}]=[\frac{\partial y_i}{\partial x_j}]$$

• Vector-Vector
  向量对向量求导，得到的是一个矩阵。
  $$[\frac{\partial \text{y}}{\partial \text{x}}{]}_{ij}=[\frac{\partial y_i}{\partial x_j}]$$
  这个和多元积分换元公式里头的雅可比矩阵是一样的形式。

• Scalar-Matrix
  $$[\frac{\partial y}{\partial \text{X}}{]}_{ij}=[\frac{\partial y}{\partial x_{ji}}]$$

需要说明的是，矩阵微分的形式有两种，这两种写法求得的结果互为转置，在求解矩阵相关的问题的时候可以采用任意一种，但是不可混用。

常用的求导法则

  这里的很多规则和数值函数里面的求导法则是类似的。

• $d\text{A}=\text{0}$ 这里的A为常数矩阵
• $d(\alpha \text{X})=\alpha \text{X}$
• $d(\text{X}+\text{Y})=d\text{X}+d\text{Y}$
• $d(\text{XY})=(d\text{X})\text{Y}+\text{X}(d\text{Y})$
• $d(tr(\text{X}))=tr(d(\text{X}))$
• $d(\text{X}\otimes \text{Y})=(d\text{X})\otimes \text{Y}+\text{X}\otimes (d\text{Y})$
• $d(\text{X}\circ \text{Y})=(d\text{X})\circ \text{Y}+\text{X}\circ (d\text{Y})$
• $d({\text{X}}^{-1})=-{\text{X}}^{-1}(d\text{X}){\text{X}}^{-1}$
  推导过程如下：
  $d({\text{XX}}^{-1})=d\text{I}=\text{0}$
  同时
  $d({\text{XX}}^{-1})=d(\text{X}){\text{X}}^{-1}+\text{X}(d{\text{X}}^{-1})=0$
• $d{\text{X}}^{\ast }=(d\text{X}{)}^{\ast }$
  *表示对矩阵元素进行变换的操作，例如转置等。
• $d(det(\text{X}))=det(\text{X})tr({\text{X}}^{-1}d\text{X})$
  推导的过程可以看看这个
• $d(\log (det(\text{X}))=tr({\text{X}}^{-1}d\text{X})$
  这个利用链式法则就可以证明

常用的求导运算

• $\frac{d{\text{a}}^T\text{x}}{d\text{x}}=\frac{d{\text{x}}^T\text{a}}{d\text{x}}={\text{a}}^T$
  这个直接根据定义来就行了，将${\text{a}}^T\text{x}$写成数值表达式的形式然后根据数值量对向量求导的公式进行展开即可。

• $\frac{d{\text{x}}^T\text{x}}{d\text{x}}=2{\text{x}}^T$
  这个也是直接展开就行了。

• $\frac{d({\text{x}}^T\text{a}{)}^2}{d\text{x}}=2{\text{x}}^T{\text{aa}}^T$
  利用链式法则即可。

• $\frac{d(\text{A}\text{x})}{d\text{x}}=A$
  直接利用微分的定义进行推导

• $\frac{d{\text{x}}^T\text{A}}{d\text{x}}=A^T$
  这个我不太会推导，不过可以根据矩阵的形状来确定

• $\frac{d{\text{x}}^T\text{A}\text{x}}{d\text{x}}={\text{x}}^T(\text{A}+{\text{A}}^T)$
  这个利用之前提到的微分的乘法运算即可

矩阵的迹的求导法则

公式在推导的时候可以直接展开，然后根据元素的下标进行推导，如果记忆的话根据矩阵的形状即可。

• $\frac{d\text{tr}(\text{AXB})}{d\text{X}}=\text{BA}$

• $\frac{d\text{tr}(\text{A}{\text{X}}^{-1}\text{B})}{d\text{X}}=-{\text{X}}^{-1}{\text{BAX}}^{-1}$
  由微分规则，$d\text{tr}(\text{A}{\text{X}}^{-1}\text{B})=d\text{tr}({\text{BAX}}^{-1})=\text{tr}(d({\text{BAX}}^{-1}))=\text{tr}(\text{BA}d({\text{X}}^{-1}))=-\text{tr}(\text{BA}{\text{X}}^{-1}(d\text{X}){\text{X}}^{-1})=-\text{tr}({\text{X}}^{-1}{\text{BAX}}^{-1}d\text{X})$

• $\frac{d\text{det}(\text{X})}{d\text{X}}=\text{det}(\text{X}){\text{X}}^{-1}$

总结

  先只写这么多，矩阵的内容实在太多，以后慢慢整理。我查阅了很多资料，其中的写法不尽相同，矩阵微分计算的结果在形式上也可能不同，其主要表现在矩阵的形状上，在计算和矩阵相关的问题时要选定一种写法，这并不会影响我们的计算结果，如果有任何问题，欢迎指出。

参考资料

• Jacobi’s formula
• matrix cookbook(直接Google)