刚看完这份PPT,记录一下自己的理解
应用梯度方法求目标函数的最小值点。
迭代下降算法分为搜索方向,确定步长。下降方向通过方向导数小于0判断,梯度方法就是下降方向取的迭代算法。
求GD的收敛率
1.目标函数为二次函数
确定步长的方法
(1)不变步长方法
通过观察(?)得到步长 是最优选择,将步长带入证明,得到收敛率
(2) 精确线搜索
步长的确定方法为令为关于
的函数,求
,带入函数式可化为关于
的二次函数,可求出f(x)取到最小值时
的取值,继而求出收敛率为
,可以看出比不变步长快。
2.目标函数为具有强凸性和光滑性的二次函数
(1) 用固定步长的方法
对比上面的不变步长
(2) 回溯线性搜索
收敛率为(?)
3. 目标函数为具有凸性和光滑性的二次函数
没有强凸性,能更好地集中在目标值的改进(即f(x)的改进)而不是估计误差的改进(应该是) ??
4. 非凸问题
目标:找到近似驻点
?
梯度趋于0,可能是全局或局部最小值,也有可能是鞍点,如果初始点在鞍点GD就会被困住,可用随机初始化的方法避免鞍区。有一个论断,经过多次迭代会逃离鞍点。