二次型对自变量向量的导数

将形如$f={\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}$称为二次型，其中$\mathbf{x}$是$n$维列向量，$\mathbf{A}$为$n\times n$的矩阵，$f$为标量。二次型由于其良好的正定性、凸性在控制理论中经常用在判断系统稳定性、最优控制等。但是有个数学上的疑问，如何求二次型函数对自变量向量的导数
$$\frac{\text{d}f}{\text{d}\mathbf{x}}=?\text{\hspace{1em}(1)}$$

1. 标量对向量导数的定义

控制理论中都会使用到标量函数对向量的导数，比如在李雅普诺夫第二法判断稳定性中，但大多数控制理论的教材都没有给出如何对向量求导数，实际上高等数学也未明确地讲这件事情。最近在看《最优控制理论与应用》-解学书编著，一本很老的书，发现该书花了一章来讨论数学基础。

标量函数$f(\mathbf{x})$对$n$维列向量$\mathbf{x}=[x_1,x_2...x_n{]}^{\text{T}}$的导数定义为
$$\frac{\text{d}f}{\text{d}\mathbf{x}}\stackrel{\Delta }{=}{\left[\frac{\text{d}f}{\text{d}{x}_1},\frac{\text{d}f}{\text{d}{x}_2},...\frac{\text{d}f}{\text{d}{x}_n}\right]}^{\text{T}}\text{\hspace{1em}(2)}$$
实际上，式(2)的定义高等数学下中的梯度$\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}f$，或者记为$\nabla f$。也就是说，对列向量的导数是一个列向量。类似地，可以定义对行向量的导数。
$$\frac{\text{d}f}{\text{d}{\mathbf{x}}^{\text{T}}}\stackrel{\Delta }{=}\left[\frac{\text{d}f}{\text{d}{x}_1},\frac{\text{d}f}{\text{d}{x}_2},...\frac{\text{d}f}{\text{d}{x}_n}\right]\text{\hspace{1em}(3)}$$

2. 向量对向量导数的定义

函数$\mathbf{f}(\mathbf{x})=[f_1(\mathbf{x}),f_2(\mathbf{x})...f_m(\mathbf{x}){]}^{\text{T}}$是$n$维列向量$\mathbf{x}=[x_1,x_2...x_n{]}^{\text{T}}$的$m$维函数向量。该向量函数对向量的导数定义为
$$\frac{\text{d}\mathbf{f}}{\text{d}\mathbf{x}}\stackrel{\Delta }{=}\frac{\text{d}\mathbf{f}}{\text{d}{\mathbf{x}}^{\text{T}}}\stackrel{\Delta }{=}\left[\begin{array}{cccc}\frac{\text{d}{f}_1}{\text{d}{x}_1},& \frac{\text{d}{f}_1}{\text{d}{x}_2},& \cdots & \frac{\text{d}{f}_1}{\text{d}{x}_n}\\ \frac{\text{d}{f}_2}{\text{d}{x}_1},& \frac{\text{d}{f}_2}{\text{d}{x}_2},& \cdots & \frac{\text{d}{f}_2}{\text{d}{x}_n}\\ ⋮& ⋮& \cdots & ⋮\\ \frac{\text{d}{f}_m}{\text{d}{x}_1},& \frac{\text{d}{f}_m}{\text{d}{x}_2},& \cdots & \frac{\text{d}{f}_m}{\text{d}{x}_n}\end{array}\right]\text{\hspace{1em}(4)}$$
可以根据上面的定义直接得到
$$\frac{\text{d}\mathbf{x}}{\text{d}{\mathbf{x}}^{\text{T}}}=\frac{\text{d}{\mathbf{x}}^{\text{T}}}{\text{d}\mathbf{x}}=\mathbf{I}\text{\hspace{1em}(5)}$$

3. 二次型的导数

有了上述的定义之后，可以根据定义得出对向量求导数的一些性质。
$$\frac{\text{d}({\mathbf{a}}^{\text{T}}\mathbf{b})}{\text{d}\mathbf{x}}=\frac{\text{d}{\mathbf{a}}^{\text{T}}}{\text{d}\mathbf{x}}\mathbf{b}+\frac{\text{d}{\mathbf{b}}^{\text{T}}}{\text{d}\mathbf{x}}\mathbf{a}\text{\hspace{1em}(6)}$$
$\mathbf{A}=[{\mathbf{a}}_1,{\mathbf{a}}_2\cdots {\mathbf{a}}_m]$是$n\times m$的矩阵，可以根据上面的定义和性质计算
$$\frac{\text{d}({\mathbf{x}}^{\text{T}}\mathbf{A})}{\text{d}\mathbf{x}}=[\frac{\text{d}}{\text{d}\mathbf{x}}(x^{\text{T}}{\mathbf{a}}_1),\frac{\text{d}}{\text{d}\mathbf{x}}({\mathbf{x}}^{\text{T}}{\mathbf{a}}_2)\cdots \frac{\text{d}}{\text{d}\mathbf{x}}({\mathbf{x}}^{\text{T}}{\mathbf{a}}_m)]\text{\hspace{1em}(7)}$$
又因为，
$$\frac{\text{d}}{\text{d}\mathbf{x}}(x^{\text{T}}{\mathbf{a}}_i)=\frac{\text{d}{\mathbf{x}}^{\text{T}}}{\text{d}\mathbf{x}}{\mathbf{a}}_i+\frac{\text{d}{\mathbf{a}}_i^{\text{T}}}{\text{d}\mathbf{x}}\mathbf{x}={\mathbf{a}}_i\text{\hspace{1em}(8)}$$
所以，
$$\frac{\text{d}({\mathbf{x}}^{\text{T}}\mathbf{A})}{\text{d}\mathbf{x}}=\mathbf{A}\text{\hspace{1em}(9)}$$
根据式(6)得到二次型函数$f={\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}$对自变量$\mathbf{x}$的导数可以表为
$$\begin{array}{c}\frac{\text{d}f}{\text{d}\mathbf{x}}=\frac{\text{d}{\mathbf{x}}^{\text{T}}}{\text{d}\mathbf{x}}\mathbf{A}\mathbf{x}+\frac{\text{d}(\mathbf{A}\mathbf{x}{)}^{\text{T}}}{\text{d}\mathbf{x}}\mathbf{x}\\ =\frac{\text{d}{\mathbf{x}}^{\text{T}}}{\text{d}\mathbf{x}}\mathbf{A}\mathbf{x}+\frac{\text{d}({\mathbf{x}}^{\text{T}}{\mathbf{A}}^{\text{T}})}{\text{d}\mathbf{x}}\mathbf{x}\\ =\mathbf{A}\mathbf{x}+{\mathbf{A}}^{\text{T}}\mathbf{x}\\ =(\mathbf{A}+{\mathbf{A}}^{\text{T}})\mathbf{x}\end{array}\text{\hspace{1em}(10)}$$
如果$\mathbf{A}$是对称阵，则有
$$\frac{\text{d}f}{\text{d}\mathbf{x}}=\frac{\text{d}({\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x})}{\text{d}\mathbf{x}}=2\mathbf{A}\mathbf{x}\text{\hspace{1em}(11)}$$
这就是在教材上给出的结果。