标量对矩阵求导的微分法——例题

$l=||X\mathbf{w}-\mathbf{y}|{|}^2$，求$\mathbf{w}$的最小二乘估计，即求$\frac{\partial l}{\mathbf{w}}$的零点。其中$\mathbf{y}$是$m\times 1$列向量，$X$是$m\times n$矩阵，$\mathbf{w}$是$n\times 1$列向量，$l$是标量。用标量对矩阵的求导的微分法求解。

解： 这是求标量对向量的导数。首先解决这个向量模的平方的问题：
$$l=||X\mathbf{w}-\mathbf{y}|{|}^2=(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{w}-\mathbf{y})$$
根据上面的算法：
1.先使用矩阵乘法法则求微分$dl$：
$$dl=(X\mathbf{d}\mathbf{w}{)}^T(X\mathbf{w}-\mathbf{y})+(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{d}\mathbf{w})$$
2.给$dl$套上迹$tr$：
$$dl=tr(X\mathbf{d}\mathbf{w}{)}^T(X\mathbf{w}-\mathbf{y})+(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{d}\mathbf{w})=tr[2(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{d}\mathbf{w})]$$
根据导数与微分的联系$dl=tr({\frac{\partial l}{\partial \mathbf{w}}}^{T}d\mathbf{w})$有：
$$\frac{\partial f}{\partial \mathbf{w}}=2X^T(X\mathbf{w}-\mathbf{y})$$
令$\frac{\partial l}{\partial \mathbf{w}}=0$，有：

$X^{T}X\mathbf{w}=X^T\mathbf{y}$，得到$\mathbf{w}$的最小二乘估计为$\mathbf{w}=(X^{T}X{)}^{-1}{X}^T\mathbf{y}$