[Math] 矩阵求导规则

前言

机器学习许多算法推导的过程中都用到了矩阵求导的知识，这些知识多且杂，于是在网上找了一些资料研究了一下，现在将自己的总结分享给大家，希望帮助大家更好地理解机器学习的算法。

由于本人水平有限，文章里不正确的地方还望大家指出。

求导规则

行向量对列向量求导

设 $y^T = [y_1, y_2, ..., y_n]$ 是 $n$ 维行向量，$x = [x_1, x_2, ..., x_n]^T$ 是 $p$ 维列向量，则

$$\frac{\partial y^T}{\partial x} = \left[ \begin{matrix} \frac{\partial y_1}{\partial x_1} & ... & \frac{\partial y_n}{\partial x_1} \\ ... & & ... \\ \frac{\partial y_1}{\partial x_p} & ... & \frac{\partial y_n}{\partial x_p} \\ \end{matrix} \right]$$

矩阵对矩阵求导

设 Y=⎡⎣⎢y11...ym1......y1n...