https://www.jianshu.com/p/7606ae3d8cc2
牛顿法主要解决非线性优化问题,其收敛速度比梯度下降速度更快,其需要解决的问题可以描述为:对于目标函数f(x),在无约束条件下求他的最小值minf(x)。
牛顿法的主要思想:在现有的极小值估计值的附近对f(x)做二阶泰勒展开,进而找到极小值点的下一个估计值,反复迭代直到找到函数的一阶导数小于某个接近0的阈值。
https://www.jianshu.com/p/7606ae3d8cc2
牛顿法主要解决非线性优化问题,其收敛速度比梯度下降速度更快,其需要解决的问题可以描述为:对于目标函数f(x),在无约束条件下求他的最小值minf(x)。
牛顿法的主要思想:在现有的极小值估计值的附近对f(x)做二阶泰勒展开,进而找到极小值点的下一个估计值,反复迭代直到找到函数的一阶导数小于某个接近0的阈值。