常用矩阵向量求导公式

在机器学习中，常用的一般是求一个数值函数对向量或矩阵变量的导数，这个数值，一般表现为向量的内积，或者是矩阵的迹。

$\alpha, \mathbf{x}$是向量，$A, B, C$是矩阵，假定以下向量矩阵都是合适大小、可乘的。

$$\frac{ \partial{ \mathbf{x}^T \alpha} }{\partial \mathbf{x}} = \frac{ \partial{ \alpha^T\mathbf{x} } }{\partial \mathbf{x}} = \alpha \tag{1}$$

$$\frac{ \partial{ \mathbf{x}^T \mathbf{x}} }{\partial \mathbf{x}} = 2\mathbf{x} \tag{2}$$

$$\frac{ \partial{ \mathbf{x}^T A\mathbf{x}} }{\partial \mathbf{x}} = (A+A^T)\mathbf{x} \tag{3}$$

$$\frac{ \partial{Tr(A^TB) } }{ \partial A} = B \tag{4}$$

$$\frac{ \partial{Tr(ABA^TC) } }{ \partial A} = CAB+C^TAB^T \tag{5}$$

关于矩阵迹的重要性质：

$$Tr(A) = Tr(A^T) \tag{7}$$

$$Tr(ABC) = Tr(BCA) = Tr(CAB) \tag{6}$$