无约束问题的梯度方法

最新推荐文章于 2022-12-18 17:04:38 发布

藩藩子

最新推荐文章于 2022-12-18 17:04:38 发布

阅读量248

点赞数

本文链接：https://blog.csdn.net/m0_59848563/article/details/118389646

版权

刚看完这份PPT，记录一下自己的理解

应用梯度方法求目标函数的最小值点。

迭代下降算法分为搜索方向，确定步长。下降方向通过方向导数小于0判断，梯度方法就是下降方向取 $-\bigtriangledown f(x)$ 的迭代算法。

求GD的收敛率

1.目标函数为二次函数

确定步长的方法

(1)不变步长方法

通过观察（？）得到步长 $\eta =\left ( \lambda _{1}\left ( Q \right )+\lambda _{n}\left ( Q \right ) \right )$ 是最优选择，将步长带入证明，得到收敛率 $(\frac{\lambda _{1}\left ( Q \right )-\lambda _{n}\left ( Q \right )}{\lambda _{1}\left ( Q \right )+\lambda _{n}\left ( Q \right )})^{t}$

(2) 精确线搜索

步长的确定方法为令 $f(x^{k}-\eta \bigtriangledown f(x^{k}))$ 为关于 $\eta$ 的函数，求 $\eta _{t}=min_{\eta }g(\eta )=min_{\eta }f(x^{k}-\eta\bigtriangledown f(x^{k}) )$ ,带入函数式可化为关于 $\eta$ 的二次函数，可求出f(x)取到最小值时 $\eta$ 的取值，继而求出收敛率为 $(\frac{\lambda _{1}\left ( Q \right )-\lambda _{n}\left ( Q \right )}{\lambda _{1}\left ( Q \right )+\lambda _{n}\left ( Q \right )})^{2t}$ ，可以看出比不变步长快。

2.目标函数为具有强凸性和光滑性的二次函数

(1) 用固定步长的方法

对比上面的不变步长

(2) 回溯线性搜索

收敛率为 $(1-min\left \{ 2\alpha \mu ,\frac{2\beta \alpha \mu }{L} \right \})^{t}$ (？)

3. 目标函数为具有凸性和光滑性的二次函数

没有强凸性，能更好地集中在目标值的改进（即f(x)的改进）而不是估计误差的改进（应该是 $\left \| x^{t}-x^{*} \right \|$ ) ??

4. 非凸问题

目标：找到近似驻点

？

梯度趋于0，可能是全局或局部最小值，也有可能是鞍点，如果初始点在鞍点GD就会被困住，可用随机初始化的方法避免鞍区。有一个论断，经过多次迭代会逃离鞍点。

藩藩子

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
无约束问题的梯度方法

刚看完这份PPT，记录一下自己的理解应用梯度方法求目标函数的最小值点。迭代下降算法分为搜索方向，确定步长。下降方向通过方向导数小于0判断，梯度方法就是下降方向取的迭代算法。求GD的收敛率1.目标函数为二次函数确定步长的方法 (1)不变步长方法通过观察（？）得到步长是最优选择，将步长带入证明，得到收敛率 (2) 精确线搜索步长的确定方法为令为关于的函数...
复制链接

扫一扫