《算法的乐趣》13.非线性方程与牛顿迭代法------python

非线性方程组求解的常用方法

二分逼近法

对于实数域的函数$f(x)$,如果存在实数$k$,使得$f(x)=0$,则$x=k$,就是函数$f(x)$的零点。
如果函数$f(x)$是连续函数，且在区间$[a,b]$上是单调函数，只要$f(a)$和$f(b)$异号，就说明在区间$[a,b]$内一定有零点，此时就可以使用二分逼近法近似的找到这个零点。
假如$f(a)<0,f(b)>0$:
1.如果$f((a+b)/2)=0$,则$(a+b)/2$就是零点；
2.如果$f((a+b)/2)<0$,则零点在区间$[(a+b)/2,b]$上，令$a=(a+b)/2$,继续从第1步开始判断；
3.如果$f((a+b)/2)>0$,则零点在区间$[a,(a+b)/2]$上，令$b=(a+b)/2$,继续从第1步开始判断。
局限性不能计算复根和重根。

def func(x):
    f = 2*(x**2) + 3.2*x - 1.8
    return f

def null_point(a, b):
    mid = (a+b)/2
    while (b-a) > 0.000000001:
        if func(a) * func(mid) < 0:
            b = mid
        else:
            a = mid
        mid = (a+b)/2
    return mid

print(null_point(-0.8, 8))

0.44096736444625995

牛顿迭代法的数学原理

首先选择一个接近函数$f(x)$零点的$x_0$作为迭代初始值，计算相应的$f(x_0)$和切线斜率$f^{\prime }(x_0)$（这里$f^{\prime }(x)$是函数$f(x)$的一阶导函数）；
然后经过点$(x_0,f(x_0))$做一条斜率为$f^{\prime }(x_0)$的直线，该直线与$x$轴有一个交点，由方程：
$$f(x_0)=(x_0-x)f^{\prime }(x_0)$$
求解这个方程，可以得到：
$$x_1=x_0-f(x_0)/f^{\prime }(x_0)$$
利用$x_1$开始下一轮迭代，迭代公式：
$$x_{n+1}=x_n-f(x_n)/f^{\prime }(x_n)$$

用牛顿迭代法求解非线性方程的实例

导函数的求解与近似公式

一阶导函数的近似表达
$$f^{\prime }(x_0)=\frac{f(x_0+0.000005)-f(x_0-0.000005)}{0.00001}$$

算法实现

def func(x):
    f = 2*(x**2) + 3.2*x - 1.8
    return f

def derivative(x):
    return (func(x+0.000005)-func(x-0.000005))/0.00001

def Newton_iteration(x0):
    x1 = x0 - func(x0) / derivative(x0)
    while abs(x0-x1) > 0.00000001:
        x0 = x1
        x1 = x0 - func(x0) / derivative(x0)
    return x1

print(Newton_iteration(8))
print(Newton_iteration(-8))

0.44096736459908564
-2.040967364599086