常用矩阵求导

矩阵求导用来做什么：在机器学习中都是近世代数学运算，所以求导数也往往是对矩阵求导数。
矩阵求导的本质一个矩阵中的每一个元素对另外一个矩阵的每一个元素求导数。因此核心问题是明白求导以后，所得到的导数如何分布的。
我们由简单到复杂解释如何进行矩阵求导：
对于简单情况，x为向量y为标量，y对x每一个分量求导，不难理解有如下结论。f(x)代表着对x的运算。
$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ \cdot \\ \cdot \\ x_n\end{array}\right]y=f(x)$$
$${\nabla }_{x}y=\left[\begin{array}{c}\frac{\mathrm{d}y}{\mathrm{d}{x}_1}\\ \frac{\mathrm{d}y}{\mathrm{d}{x}_2}\\ \cdot \\ \cdot \\ \frac{\mathrm{d}y}{\mathrm{d}{x}_n}\end{array}\right]$$
同理可得x为标量y为向量的情况下

$$y=\left[\begin{array}{c}{f}_1(x),f_2(x),～,f_n(x)\end{array}\right]$$
有：
$${\nabla }_{x}y=\left[\begin{array}{c}\frac{\mathrm{d}{y}_1}{x},\frac{\mathrm{d}{y}_2}{x},～,\frac{\mathrm{d}{y}_3}{x}\end{array}\right]$$
对于复杂的情况，比如x和y都是向量的情况下，我们可以分开来分析，首先将y看作一个整体，对x各个分量求导数。然后根据链式法则，或者是参考反向传播，y的每个分量都需要对x的特定分量进行求导。
$$x=\left[\begin{array}{c}{x}_1\\ x_2\\ \cdot \\ \cdot \\ x_n\end{array}\right]y=\left[\begin{array}{c}{y}_1\\ y_2\\ \cdot \\ \cdot \\ y_n\end{array}\right]$$
$${\nabla }_{x}y=\left[\begin{array}{c}\frac{\mathrm{d}y}{\mathrm{d}{x}_1}\\ \frac{\mathrm{d}y}{\mathrm{d}{x}_2}\\ \cdot \\ \cdot \\ \frac{\mathrm{d}y}{\mathrm{d}{x}_n}\end{array}\right]=\left[\begin{array}{c}\frac{\mathrm{d}{y}_1}{\mathrm{d}{x}_1}\frac{\mathrm{d}{y}_2}{\mathrm{d}{x}_1}\frac{\mathrm{d}{y}_3}{\mathrm{d}{x}_1}～\frac{\mathrm{d}{y}_2}{\mathrm{d}{x}_1}\\ \frac{\mathrm{d}{y}_1}{\mathrm{d}{x}_2}\frac{\mathrm{d}{y}_2}{\mathrm{d}{x}_2}\frac{\mathrm{d}{y}_3}{\mathrm{d}{x}_2}～\frac{\mathrm{d}{y}_4}{\mathrm{d}{x}_2}\\ \cdot \\ \cdot \\ \frac{\mathrm{d}{y}_1}{\mathrm{d}{x}_n},\frac{\mathrm{d}{y}_2}{\mathrm{d}{x}_n},\frac{\mathrm{d}{y}_3}{\mathrm{d}{x}_n}～\frac{\mathrm{d}{y}_4}{\mathrm{d}{x}_n}\end{array}\right]$$

常用的几个结论:
$\frac{\mathrm{d}{x}^T}{\mathrm{d}x}=1$
${\nabla }_x{X}^{T}AX=(A+A^T)X$
$\nabla u(t)v(t)=u(t){\nabla }_{t}v(t)+{\nabla }_{t}u(t)v(t)$

应该足够应付大部分问题了