机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法

在机器学习中的矩阵向量求导(一) 求导定义与求导布局中，我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导，标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。

对于本文中的标量对向量或矩阵求导这两种情况，如前文所说，以分母布局为默认布局。向量对向量求导，以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同，请先确认使用的求导布局是否一样。另外，由于机器学习中向量或矩阵对标量求导的场景很少见，本系列不会单独讨论这两种求导过程。

1. 用定义法求解标量对向量求导

标量对向量求导，严格来说是实值函数对向量的求导。即定义实值函数f:Rⁿ →R,自变量x是n维向量，而输出y是标量。对于一个给定的实值函数，如何求解$\frac{\partial y}{\partial \mathbf{x}}$呢？

首先我们想到的是基于矩阵求导的定义来做，由于所谓标量对向量的求导，其实就是标量对向量里的每个分量分别求导，最后把求导的结果排列在一起，按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导，最后找到规律，得到求导的结果向量。

首先我们来看一个简单的例子：$y={\mathbf{a}}^T\mathbf{x}$,求解$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}$

据定义，我们先对x的第i个分量进行求导，这是一个标量对标量的求导，如下：
$$\begin{array}{r}\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial x_i}=\frac{\partial \sum _{j=1}^n{a}_j{x}_j}{\partial x_i}=\frac{\partial a_i{x}_i}{\partial x_i}=a_i\end{array}$$

可见，对向量的第i个分量的求导结果就等于向量a的第i个分量。由于我们是分母布局，最后所有求导结果的分量组成的是一个n维向量。那么其实就是向量a。也就是说：
$$\begin{array}{r}\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}\end{array}$$

同样的思路，我们也可以直接得到：
$$\begin{array}{r}\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}\end{array}$$