向量的数量函数的导数

一、重要公式

二、相关理论及证明

2.1 向量的数量函数对向量的导数

2.1.1 定义

若是中向量的数量函数，则对的导数（即数量函数的梯度）为

在此，数量函数是指函数的输出是标量。由以上定义可知，我们所说的对向量的导数是函数关于向量元素的偏导数。因此，得到的导数结果是一向量，与向量的维度一致。

2.1.2 公式及相关证明

以下证明机器学习等工程应用中经常见到的一个关于二次型的向量求导公式。

证明：

    

         

                  

           

                 

类似地，我们也可以证明出如下公式：

其中是向量。如果你不想推导，只想记下求导结果的话，那么切记标量函数关于向量的导数得到的结果与维度一致，这样你就不会混淆结果到底是还是了。

2.2 向量的数量函数对向量的导数

2.2.1 定义

码字比较麻烦，下面直接贴出标量函数关于矩阵的导数：

                                       

本质上，向量就是矩阵，如果理解了数量函数关于向量的导数，就不难理解数量函数关于矩阵的导数。

2.2.2  公式及相关证明

接着再来看两个重要的公式：

其中、分别是m维和n维的向量，是秩为m×n的矩阵。以下我们证明第一个公式：

证明：

         

         

         

于是有

                         

因此，

类似地，我们可以证明第二个公式。

     到此，我们可以做个小总结，要顺利地理解向量函数对向量或者矩阵的导数，我们需要记住其实我们求的是关于向量或者矩阵元素的偏导。如果有兴趣，大家可以看下向量的向量函数对向量的导数。

参考：刘丁酉《矩阵分析》（下载请点击链接）