引言
在学习张贤达老师的《矩阵分析与应用》时,遇到了矩阵求导这一问题。之前从来没接触过这一概念,阅读资料也是花费了不少时间,因此将学习的笔记总结到这里,方便日后温习。
图1是目录中第五章的部分内容,因为本人目前在研究无约束最优化的问题,故只选取了前三节进行学习阅读。
图1 无约束最优化目录
梯度与无约束最优化
极小点
首先考虑一个最简单的优化问题。常规的优化问题中都是希望寻找一个最值,但是实际问题中很难比较全部的点,因此常常去寻找局部的极值作为某邻域取值的最小值。
虽然邻域内的值虽然比全局有所减少,但是通过局部极小点、严格局部极小点
来计算也是有一定的工作量。面对这种情况,采用泰勒级数展开来解决问题。
满足的点x称为函数f(x)的平稳点,不能确定它是极大值or极小值or拐点,平稳点只能作为候选点,进一步确定需要依靠二阶导数。若平稳点满足
,则可求出目标函数的局部最小值。相反就可求最大值。
一阶导数被称为梯度函数。
此外还提及凸函数、严格凸函数的定义。凸目标函数的局部极小点就是全局极小点。
极小点、局部极小点、全局极小点的概念都可推广至向量域。
向量梯度
梯度的负方向称为变元的梯度流。
- 以向量为变元的标量函数的梯度是一个向量。
- 梯度的每个分量给出了标量函数在该分量方向上的变化率。
实值函数f(x)对行向量的梯度如下:
m维行向量函数对列向量x的梯度为:
列向量对行向量求导(雅克比矩阵):
若,则有:
常用的一些梯度公式法则:常数梯度为0,线性法则,乘积法则,商法则,链式法则。
实值函数的梯度矩阵
迹函数的梯度矩阵
行列式的梯度矩阵
Hessian 矩阵
矩阵微分
矩阵导数可以利用矩阵微分计算。矩阵微分也可以用来求标量函数的梯度矩阵,标量函数包括向量的标量函数、矩阵的标量函数(迹、行列式)。