目的
应用泰勒级数展开式寻找最优点。
基本的优化算法
最速下降法(steepest descent)
牛顿法(Newton’s method)
共轭梯度法( conjugate gradient)
通用优化方法
Δxk=(xk+1−xk)=akpk
这里向量
pk
代表一个搜索方向,大于零的纯量
ak
表示学习速度(步长,最优化中的概念)
应用泰勒级数展开式寻找最优点。
最速下降法(steepest descent)
牛顿法(Newton’s method)
共轭梯度法( conjugate gradient)
Δxk=(xk+1−xk)=akpk
这里向量
pk
代表一个搜索方向,大于零的纯量
ak
表示学习速度(步长,最优化中的概念)