qq91752728的博客

1.一阶二阶梯度法 求解的最直观方法就是将目标函数(线性优化最常见的那种目标函数，下面式子中左边那个)在x附近进行泰勒展开 其中J就是目标函数||f(x)||^2关于x的导数(雅克比矩阵)，H则是二阶导数(海森Hessian矩阵).。 如果这个式子只保留一阶梯度，然后对右边的式子对Δx求导得导数等于J(x)，这意味着当Δx = J(x)的时候，这个函数最大。那么如果我们想要这个函数最小的...