学习笔记：矩阵微分、无约束最优化

引言    

在学习张贤达老师的《矩阵分析与应用》时，遇到了矩阵求导这一问题。之前从来没接触过这一概念，阅读资料也是花费了不少时间，因此将学习的笔记总结到这里，方便日后温习。

    图1是目录中第五章的部分内容，因为本人目前在研究无约束最优化的问题，故只选取了前三节进行学习阅读。

                                                                               图1   无约束最优化目录

梯度与无约束最优化

      极小点

       首先考虑一个最简单的优化问题。常规的优化问题中都是希望寻找一个最值，但是实际问题中很难比较全部的点，因此常常去寻找局部的极值作为某邻域取值的最小值。

                       

        虽然邻域内的值虽然比全局有所减少，但是通过局部极小点、严格局部极小点来计算也是有一定的工作量。面对这种情况，采用泰勒级数展开来解决问题。

        满足的点x称为函数f(x)的平稳点，不能确定它是极大值or极小值or拐点，平稳点只能作为候选点，进一步确定需要依靠二阶导数。若平稳点满足，则可求出目标函数的局部最小值。相反就可求最大值。

       一阶导数被称为梯度函数。

       此外还提及凸函数、严格凸函数的定义。凸目标函数的局部极小点就是全局极小点。

       极小点、局部极小点、全局极小点的概念都可推广至向量域。

     向量梯度

 

       梯度的负方向称为变元的梯度流。

• 以向量为变元的标量函数的梯度是一个向量。
• 梯度的每个分量给出了标量函数在该分量方向上的变化率。

实值函数f(x)对行向量的梯度如下：

m维行向量函数对列向量x的梯度为：

列向量对行向量求导(雅克比矩阵)：

若，则有：

常用的一些梯度公式法则：常数梯度为0，线性法则，乘积法则，商法则，链式法则。

实值函数的梯度矩阵

迹函数的梯度矩阵

行列式的梯度矩阵

Hessian 矩阵

 

矩阵微分

矩阵导数可以利用矩阵微分计算。矩阵微分也可以用来求标量函数的梯度矩阵，标量函数包括向量的标量函数、矩阵的标量函数（迹、行列式）。

 

共轭梯度与无约束最优化