ML的时候经常会用到矩阵求导。
好比Gradient Descent中就有用到。
Cost Function:
$J(\theta) = \frac{1}{2m} (X\theta - y)^{T}(X\theta - y)$.
Gradient Descent Process:
$\theta = \theta - \frac{\alpha}{m}(\theta^{T}X^{T}X - y^{T}X)^T$.
这个就可以用矩阵求导来导出:
按照分量来说,$\theta_i = \theta_i - \alpha\frac{\partial J}{\partial\theta_i} $,
这里$\alpha$是learning rate.
这样合起来就有$\theta = \theta - \alpha\left(\frac{\partial J}{\partial\theta}\right)^{T}$.
多元函数的Jacobian是一个行向量。
具体内容网上随便搜Matrix Differentiation就好。
http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf
不能上传PDF,非常可惜,以后可能链接就失效了。