【机器学习】数值分析02——任意方程求根

任意方程求根

全文目录

（博客园）机器学习

（Github）MachineLearning Math

1.简介

方程和函数是代数数学中最为重要的内容之一，从初中直到大学，我们都在研究着方程与函数，甚至我们将图形代数化，从而发展出了代数几何、解析几何的内容。而在方程与函数中，我们研究其性质最多的，往往就是方程的根（零点），即使是研究方程的极值点、鞍点等，我们无非也只是研究其微商的零点。
我们在初等数学中已经学过许多简单初等函数、线性方程的求解方法，在本文中，我们重点讨论任意方程，尤其是计算困难的非线性方程的求根方法。

2.方程

2.1分类和介绍

方程就是指含有未知数的等式。是表示两个数学式（如两个数、函数、量、运算）之间相等关系的一种等式，使等式成立的未知数的值称为“解”或“根”。在这里，根据一些性质的不同，我们将方程分成以下几类：

• 单个方程
  • 线性方程：本质是等式两边乘以任何相同的非零数，方程的本质都不受影响。通常认为只含有一次项的方程。
  • 非线性方程：是因变量与自变量之间的关系不是线性的关系的方程。
    • 多项式方程
    • 超越方程：指含有未知量的超越式（指数、对数、三角函数、反三角函数等）的方程。换言之，超越方程中都有无法用含有未知数的多项式、分式或开方表示的式子。
• 多个方程
  • 线性方程组
  • 非线性方程组

2.2方程的零点（根、解）

若有一个值或一些值能够使得方程 $f(x)=0$ 成立，那么这个值就被成为方程的解，也常常被叫做零点和根。

若方程有且只有一个解$x^{\ast }$，那么我们称方程有单根$x^{\ast }$。

若对于方程$f(x)=0$，有$f(x^{\ast })=0,f^{{}^{\prime }}(x^{\ast })=f^{{}^{\prime \prime }}(x^{\ast })=\cdots =f^{(k)}(x^{\ast })=0,f^{(k+1)}(x^{\ast })\ne 0$,那么称$x^{\ast }$为方程的k+1重根

PS：若方程是简单幂函数多项式组成，那么方程的解的数量应和最高此项的数值一致，因为存在虚根。

3.求根方法

求根的方法基本上大同小异，都是通过区间去逼近方程的根的点。

首先我们说一个定理1：对于实函数方程$f(x)=0$，当$x\in (a,b)$，且$f(x)$在$x\in (a,b)$时单调且连续，若$f(a)\cdot f(b)<0$，则方程在$x\in (a,b)$有且只有一个根。

3.1二分法

3.1.1普通二分法的原理及操作

二分法和算法中的二分搜索法非常的类似，取定有根区间$[a,b]$进行对分，求得$mid=\frac{a+b}{2}$进行判断含根区间，如果$f(a)\cdot f(mid)<0$,则令$b=mid$；反之若$f(b)\cdot f(mid)<0$,则令$a=mid$。当$|b_n-a_n|<ϵ$停止计算返回结果。

产生的截断误差为$|e_{n-1}|=x_{n+1}-x^{\ast }\le [b_n-a_n]=\frac{b_0-a_0}{2^n}$。

可以计算出最小迭代次数为$n=\frac{lg(c_0-a_0)-lgϵ}{lg2}$

代码实现（更多语言的代码见仓库中Code文件夹）：

private static double epsilon = 0.001;
// func为函数，写法如x=>x*x+2*x-1，a，b必须为有效的含根开区间
public static double Binary(Func<double, double> func, double a, double b)
{
    var f1 = func.Invoke(a);
    var f2 = func.Invoke(b);
    if (f1 * f2 > 0)
        throw new ArgumentException("此区间无根或根不唯一");
    double mid = (a + b) / (double)2;
    var fm = func.Invoke(mid);
    if (fm == 0)
        return fm;
    if (f1 * fm < 0)
        b = mid;
    else if (f2 * fm < 0)
        a = mid;
    if (Math.Abs(b - a) <= epsilon)
        return (a + b) / (double)2;
    return Binary(func, a, b);
}

3.1.2普通二分法准确度及速度分析

假设$\left[a,b\right]$是二分法的初始区间，在进行n此二分之后，得到的最终根的分布区间$[a_n,b_n]$的长度为$(b-a)/2^n$，我们将其中点作为根的最优估计值，与真实值之间的误差不超过区间长度的一半。

$$e=\left|x_c-r\right|<\frac{b-a}{2^{n+1}}$$
若$e<\frac{1}{2}\times 10^{-p}$,则精确到小数点后p位，

事实上我们也可以简单的计算出函数执行的次数为n+2次。

3.2浅谈迭代

3.2.1 迭代是什么

迭代是重复反馈过程的活动，其目的通常是为了逼近所需目标或结果。每一次对过程的重复称为一次“迭代”，而每一次迭代得到的结果会作为下一次迭代的初始值。
重复执行一系列运算步骤，从前面的量依次求出后面的量的过程。此过程的每一次结果，都是由对前一次所得结果施行相同的运算步骤得到的。这篇文章中对于迭代有一个非常不错的概述究竟什么是迭代？

3.2.2 不动点的定义

各位可以尝试以下操作，

1. 随意输入一个数字$\lambda$
2. 然后对其进行$cos\lambda$运算，
3. 将运算结果作为新的值传回$cosx$函数之中

当你一直重复以上三个操作，你会发现数字最后会定格在0.73908513左右不动了。这是一个非常有趣的现象，事实上我们的这个操作就是$x_n=cos{x}_{n-1}$，而最后不变化的数值实际上就是$x=cosx$这个方程的解。

这就是我们不动点的一种实际情况，不动点原理是数学上一个重要的原理，也叫压缩映像原理或巴拿赫（Banach）不动点定理，完整的表达：完备的度量空间上，到自身的一个压缩映射存在唯一的不动点。用初等数学可以这么理解：连续映射$f$的定义域包含值域，则存在一个$x$使得$f(x)=x$。

若某函数满足$f(\lambda )=\lambda ,\lambda \in R$，我们就称$\lambda$为函数的一阶不动点。同样的，我们推广一下，若$f(f(\lambda ))=\lambda ,\lambda \in R$，则称为二阶不动点，一阶不动点必定是二阶不动点。

不动点的存在定理：若某函数$y=f(x)$与$y=x$存在至少一个交点，那么函数必然存在不动点。

3.2.3 函数的相似性

我们常常说图形之间的相似，事实上函数也有其相似的定义。若函数$f(x)$对其换元，令$t=\phi (x),x={\phi }^{-1}(t),f(x)=>f({\phi }^{-1}(t))$。我们的不动点是一个基于迭代的过程，迭代就是让$f(x_0)=x_1=t,f(x_1)=f(f(x_0))=f(t)=x_2...$的过程，如果我们换个角度去思考，迭代不就是和我们刚刚提到的换元是一个道理吗？那么我们思考一下，如果对于二次迭代$f(f(x))$，如果说我们把函数完全看成是一个复合函数，那么我们现在需要做的就是试图将函数写成$f({\phi }^{-1}(t))$的形式。

现在做出如下变换，将外层的$f(x)$换元为$f({\phi }^{-1}(t))$，那么二次迭代式就变成了$g(t)=\phi (f({\phi }^{-1}(t)))$。随后对我们的$g(x)$再进行迭代就会得到$g(g(t))=\phi (f(f({\phi }^{-1}(t)))$，利用数学归纳法计算n次迭代式，那么就会得到$g_n(t)=\phi (f_n({\phi }^{-1}(t)))$。

我们在这给出总结和定义：若函数$g(x),f(x),\phi (x)$，若有$g(x)=\phi (f({\phi }^{-1}(x)))$，那么称函数$g(x)$和$f(x)$通过$\phi (x)$相似，记作$f\sim g$，$\phi (x)$称为相似的桥函数，且之前我们的过程得出了一个重要的结论就是$g\sim f=>g^n\sim f^n$，同时，相似函数的不动点是完全一致的，证明如下：

$$若函数g(x)的不动点为x_0，则有$$
$$g(x_0)=x_0=\phi (f({\phi }^{-1}(x_0)))$$

$$根据反函数性质有\phi ({\phi }^{-1}(x))=x$$

$$故f({\phi }^{-1}(x_0))={\phi }^{-1}(x_0)=x_0,{\phi }^{-1}$$