矩阵求导基础

[1] 矩阵导数定义

需要用到矩阵的一些求导技术，假设对于一个大小为$m×n$的矩阵$A$，我们存在这样的一个映射$f$（$f:R^{m×n}\rightarrow R$，即他可以吧矩阵A映射到一个实数），接下来我们定义$f$对矩阵$A$的导数如下：

$$\nabla_Af(A)= \begin{bmatrix} \frac{\partial f}{\partial A_{11}} & \cdots & \frac{\partial f}{\partial A_{1n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f}{\partial A_{n1}} & \cdots & \frac{\partial f}{\partial A_{nn}} \\ \end{bmatrix}$$

而一般来说，$f(A)$会定义为矩阵的迹（因为我们可以使用迹的技巧对矩阵进行各种方便的求导）。

[2] 矩阵的迹

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成$trA$,于是我们有

$$tr A=\sum_{i=1}^n A_{ii}$$

开篇论文中写到的$trace$就是对矩阵求迹的意思，接下来介绍下关于迹的一些比较有用的性质：

$1） trABC=trBCA=trCBA$

也就是对多个矩阵的相乘求迹时，矩阵的顺序是可以调换的（注意有个循环的顺序在里面），这个性质很有用可以结合后面的公式方便地对矩阵进行求导。

2）trA=tr