【无约束最优化】梯度下降法、牛顿法
无约束最优化
无约束优化问题是是机器学习中最普遍、最简单的优化问题。
最小值时 x∗=minxf(x),x∈Rn,f(x)为多维的x^*=min_xf(x),x∈R^n,f(x)为多维的x∗=minxf(x),x∈Rn,f(x)为多维的。
梯度下降(GD)
运用:在MLE、MAP里求最大值、最小值的点。
由于很多情况下f(w)f(w)f(w)无法求导,就引入了梯度下降。
梯度:本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变
原创
2021-09-26 22:40:12 ·
272 阅读 ·
0 评论