机器学习数学基础之一矩阵求导

机器学习数学基础之一矩阵求导

矩阵求导

【注】：本文采用分子布局（numerator layout）

【符号约定】：$\vec{y}\in R^m;\vec{x}\in R^n;x,y\in R^{m\times n};X,Y\in R^{m\times n};$

I 第一部分 基本求导公式

一、向量对标量求导

$\frac{d\vec{y}}{dx}=[\frac{d{y}_1}{dx},\frac{d{y}_2}{dx},...,\frac{d{y}_m}{dx}{]}^T$

二、标量对向量求导

$\frac{dy}{d\vec{x}}=[\frac{dy}{d{x}_1},\frac{dy}{d{x}_2},...,\frac{dy}{d{x}_n}]$

三、向量对向量求导

$\frac{d\vec{y}}{d\vec{x}}={\left(\begin{array}{cccccc}\frac{d{y}_1}{d{x}_1}& \frac{d{y}_1}{d{x}_2}& .& .& .& \frac{d{y}_1}{d{x}_n}\\ \frac{d{y}_2}{d{x}_1}& \frac{d{y}_2}{d{x}_2}& .& .& .& \frac{d{y}_2}{d{x}_n}\\ .& & & & & .\\ .& & & & & .\\ \frac{d{y}_m}{d{x}_1}& \frac{d{y}_m}{d{x}_2}& .& .& .& \frac{d{y}_m}{d{x}_n}\end{array}\right)}_{m\times n}$

四、标量对矩阵求导

$\frac{dy}{dX}=\left(\begin{array}{cccccc}\frac{dy}{d{x}_{1,1}}& \frac{dy}{d{x}_{1,2}}& .& .& .& \frac{dy}{d{x}_{1,n}}\\ \frac{dy}{d{x}_{2,1}}& \frac{dy}{d{x}_{2,2}}& .& .& .& \frac{dy}{d{x}_{2,n}}\\ .& & & & & .\\ .& & & & & .\\ \frac{dy}{d{x}_{m,1}}& \frac{dy}{d{x}_{m,2}}& .& .& .& \frac{dy}{d{x}_{m,n}}\end{array}\right)$

五、矩阵对标量求导

$\frac{dY}{dx}=\left(\begin{array}{cccccc}\frac{d{y}_{1,1}}{dx}& \frac{d{y}_{1,2}}{dx}& .& .& .& \frac{d{y}_{1,n}}{dx}\\ \frac{d{y}_{2,1}}{dx}& \frac{d{y}_{2,2}}{dx}& .& .& .& \frac{d{y}_{2,n}}{dx}\\ .& & & & & .\\ .& & & & & .\\ \frac{d{y}_{m,1}}{dx}& \frac{d{y}_{m,2}}{dx}& .& .& .& \frac{d{y}_{m,n}}{dx}\end{array}\right)$

II 第二部分 复杂求导公式

【例】求解 $\frac{d(A\vec{x})}{d\vec{x}}$

分析：A$\vec{x}$为$(m\times 1)$维的向量，$\vec{x}$为$(n\times 1)$维的向量，适用向量对向量的求导法则。

解：$A=\left(\begin{array}{cccccc}{a}_{1,1}& a_{1,2}& .& .& .& a_{1,n}\\ a_{2,1}& a_{2,2}& .& .& .& a_{2,n}\\ .& & & & & .\\ .& & & & & .\\ a_{m,1}& a_{m,2}& .& .& .& a_{m,n}\end{array}\right),x=\left(\begin{array}{c}{x}_1\\ x_2\\ .\\ .\\ x_n\end{array}\right)$，则 $A\vec{x}=\left(\begin{array}{c}(A\vec{x}{)}_1\\ (A\vec{x}{)}_2\\ .\\ .\\ (A\vec{x}{)}_m\end{array}\right)$，

其中 $(A\vec{x}{)}_i=a_{i,1}{x}_1+a_{i,2}{x}_2+...+a_{i,n}{x}_n$

则很容易得到：

$\frac{d(A\vec{x})}{d\vec{x}}=\left(\begin{array}{cccccc}\frac{(A\vec{x}{)}_1}{d{x}_1}& \frac{(A\vec{x}{)}_1}{d{x}_2}& .& .& .& \frac{(A\vec{x}{)}_1}{d{x}_n}\\ \frac{(A\vec{x}{)}_2}{d{x}_1}& \frac{(A\vec{x}{)}_2}{d{x}_2}& .& .& .& \frac{(A\vec{x}{)}_2}{d{x}_n}\\ .& & & & & .\\ .& & & & & .\\ \frac{(A\vec{x}{)}_m}{d{x}_1}& \frac{(A\vec{x}{)}_m}{d{x}_2}& .& .& .& \frac{(A\vec{x}{)}_m}{d{x}_n}\end{array}\right)=\left(\begin{array}{cccccc}{a}_{1,1}& a_{1,2}& .& .& .& a_{1,n}\\ a_{2,1}& a_{2,2}& .& .& .& a_{2,n}\\ .& & & & & .\\ .& & & & & .\\ a_{m,1}& a_{m,2}& .& .& .& a_{m,n}\end{array}\right)=A$

理论上任意一个矩阵都可以按照上述方法进行求导，但是往往比较麻烦，在实际应用中，即可以查找求导表进行查询，也可以运用在线矩阵求导工具进行求导。
下图为使用该在线编辑工具进行求导的结果:

【传送门】：矩阵求导表链接，在线求导工具链接
【参考】：https://blog.csdn.net/daaikuaichuan/article/details/80620518
https://zhuanlan.zhihu.com/p/137702347