牛顿法推导

目的

牛顿法的目的是为了求目标函数的最小或最大值。

推导

对于任意多元函数，都可以通过泰勒公式展开，牛顿法需要泰勒公式的前三项，推导过程如下，其中$X$为$(x_1,x_2,\dots ,x_n{)}^T$：

这里$\gamma$主要是控制迭代速度，一般要设置的比较小，主要是为了保证$X_{k+1}-X_k$足够小，这样前面提到的高阶无穷小才能被忽略。