牛顿法求极值python实现

**
理论和例题部分转载百度文库的PPT，本文以编程为主，锻炼自己编程能力
转载地址为：https://wenku.baidu.com/view/64a1c6f8700abb68a982fbad.html

引言

**
牛顿法即牛顿迭代法，又称为牛顿-拉夫逊方法，由于多数方程不存在求跟公式，因此求精确根非常困难，甚至不可解，从而寻找方程的近似根就特别重要。牛顿迭代法是用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根，这样做的有点就是方程f(x)=0在单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根、收敛性等。(最优化理论与算法第2版P287有收敛性相关的证明)
**

原理

在第K次迭代的迭代点xk的邻域内，把F(x)展开成泰勒级数的二次函数式去近似代替原目标函数F(x)，然后求出该二次函数的极小点，作为对远目标函数求优的下一个迭代点，以此类推，通过多次重复迭代，使迭代点逐步逼近远目标函数的极小点。

计算过程

例题详解
已知目标函数$f(X)=4(x_1+1{)}^2+2(x_2-2{)}^2+x_1+x_2+10$，设初始点$X^0={\left[0,0\right]}^T$，迭代梯度精度$\epsilon =0.01$%，试用阻尼牛顿法求目标函数的极小点和极小值点。
解：

1. 目标函数的梯度为：
   $\nabla f(X^{(k)})=[\frac{\partial f(X^{(k)})}{\partial x_1},$