牛顿法推导 目的推导 目的 牛顿法的目的是为了求目标函数的最小或最大值。 推导 对于任意多元函数,都可以通过泰勒公式展开,牛顿法需要泰勒公式的前三项,推导过程如下,其中 X X X为 ( x 1 , x 2 , … , x n ) T (x_1,x_2,…,x_n)^T (x1,x2,…,xn)T: 这里 γ \gamma γ主要是控制迭代速度,一般要设置的比较小,主要是为了保证 X k + 1 − X k X_{k+1}-X_k Xk+1−Xk足够小,这样前面提到的高阶无穷小才能被忽略。