weixin_42521167的博客

梯度下降法梯度的定义梯度下降法梯度下降公式为什么负梯度方向是目标函数下降最快的方向 梯度的定义 如果w=w(x,y,z),x=x(t),y=y(t),z=z(t)，w = w(x, y, z), x = x(t), y = y(t), z = z(t)，w=w(x,y,z),x=x(t),y=y(t),z=z(t)，根据链式法则： 如果设▽w▽w▽w 是一个综合了www所有偏导数的向量，dr/d...

牛顿法这篇文章写的不错，转载过来 https://www.jianshu.com/p/e426c3eca226

有约束优化，拉格朗日乘子的意义，KKT条件拉格朗日乘子法的引入KKT条件多个约束条件的情况 拉格朗日乘子法的引入 一个典型的带约束条件优化问题： minxf(x) min_xf(x) minx​f(x)s.t.g(x)=0 s.t. g(x)=0 s.t.g(x)=0 以xxx为二维变量为例，设：f(x,y)=df(x,y)=df(x,y)=d， g(x,y)=cg(x,y)=cg(x,y)=c，...