矩阵分析与应用第五章——梯度分析与最优化
一、梯度
1.实值函数对实向量的梯度
- 梯度算子:
- 梯度:
- 矩阵求导计算公式
2. 矩阵微分
- Jacobian矩阵
- 向量函数的梯度
- 矩阵微分常用法则
- 两个向量内积和二次型梯度
二、梯度算法
1. 共轭梯度法
- 问题描述:
考察线性方程组
A x = b Ax=b Ax=b
要求A为对称正定矩阵
求解线性方程组即求解目标函数 J ( x ) J(x) J(x)的极小值
m i n J ( x ) = 1 2 x T A x − b T x minJ(x)=\frac{1}{2}x^TAx-b^Tx minJ(x)=21xTAx−bTx
因为 J ′ ( x ) = A x − b J'(x)=Ax-b J′(x)=Ax−b - 下面几个定义
(1)记目标函数J(x)的共轭梯度为g(x),则
g ( x ) = J ′ ( x ) = A x − b = r ( x ) g(x)=J'(x)=Ax-b =r(x) g(x)=J′(x)=Ax−b=r(x)
其中 r ( x ) r(x) r(x)为解向量x的残差向量。即
(2)共轭正交:
- 推导过程:
为了确定ai,用矩阵piHA左乘(5.7.8)两边,得到
因此,将ai带入(5.7.8)得到
主要思想:
共轭方向定理:
可以证得共轭方法的正确性。
算法:
其中倒数第二行的βk修改为βk+1。
有两个博客共轭梯度讲解很好
https://blog.csdn.net/lusongno1/article/details/78550803
https://blog.csdn.net/weixin_37895339/article/details/84640137