向量求导

参考文库链接

对标量求导

矩阵对标量求导

$$\frac{\mathrm{d}y}{\mathrm{d}x}=\begin{array}{cc}\frac{\mathrm{d}y11}{\mathrm{d}x}& \frac{\mathrm{d}y12}{\mathrm{d}x}\\ \frac{\mathrm{d}y21}{\mathrm{d}x}& \frac{\mathrm{d}y22}{\mathrm{d}x}\end{array}$$

向量对标量求导

参考矩阵对标量求导

向量对向量求导

行向量对列向量求导

相当于每一个标量对列向量求导的组合。
其中$y^T$是1*n的向量，$x$是m*1的向量：

重要结论：
$$\frac{\mathrm{d}{x}^T}{\mathrm{d}x}=I$$
$$\frac{\mathrm{d}(Ax{)}^T}{\mathrm{d}x}=A^T$$

列向量对行向量求导

其中$y^T$是1*n的向量，$x$是m*1的向量：$\frac{\mathrm{d}x}{\mathrm{d}{y}^T}=(\frac{\mathrm{d}{x}^t}{\mathrm{d}y}{)}^T$

向量积对向量求导

向量积求导公式：
$$\frac{\mathrm{d}{u}^{T}v}{\mathrm{d}x}=\frac{\mathrm{d}{u}^T}{\mathrm{d}x}\ast v+\frac{\mathrm{d}{v}^T}{\mathrm{d}x}\ast u$$
$$\frac{\mathrm{d}u{v}^T}{\mathrm{d}x}=\frac{\mathrm{d}u}{\mathrm{d}x}\ast v^T+u\ast \frac{\mathrm{d}{v}^T}{\mathrm{d}x}$$
重要结论：
$$\frac{\mathrm{d}{x}^{T}x}{\mathrm{d}x}=\frac{\mathrm{d}{x}^T}{\mathrm{d}x}\ast x+\frac{\mathrm{d}{x}^T}{\mathrm{d}x}\ast x=2\ast x;$$
$$\frac{\mathrm{d}{x}^{T}Ax}{\mathrm{d}x}=\frac{\mathrm{d}{x}^T}{\mathrm{d}x}\ast Ax+\frac{\mathrm{d}{x}^T{A}^T}{\mathrm{d}x}\ast x=(A+A^T)\ast x$$