m0_59848563的博客

原创 无约束问题的梯度方法

刚看完这份PPT，记录一下自己的理解 应用梯度方法求目标函数的最小值点。 迭代下降算法分为搜索方向，确定步长。下降方向通过方向导数小于0判断，梯度方法就是下降方向取的迭代算法。 求GD的收敛率 1.目标函数为二次函数 确定步长的方法 (1)不变步长方法 通过观察（？）得到步长 是最优选择，将步长带入证明，得到收敛率 (2) 精确线搜索 步长的确定方法为令为关于的函数...