最优化方法：非线性方程的求极值方法

最新推荐文章于 2024-06-18 22:11:09 发布

-柚子皮-

最新推荐文章于 2024-06-18 22:11:09 发布

阅读量1w

点赞数 4

分类专栏： Math 机器学习文章标签：数值分析非线性方程的求根方法二分法不动点迭代

本文链接：https://blog.csdn.net/pipisorry/article/details/23553263

版权

机器学习同时被 2 个专栏收录

54 篇文章 70 订阅

订阅专栏

Math

31 篇文章 25 订阅

订阅专栏

http://blog.csdn.net/pipisorry/article/details/23553263

本文主要讲解数值分析：非线性方程的求根方法，但是等价于最优化方法：非线性方程的求极值方法。

最优化方法

最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度法等等。

凸函数

凸函数：优化理论中，设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。当f是（严格）凹函数当且仅当-f是（严格）凸函数。比如是凹函数。

Note: lz发现好多地方凸函数定义可能是相反的，国内外定义好像也不一样。这里只要记得，正常的碗就是凸函数！

零点

1 如果 x * 使 f( x * )=0,则称 x * 为方程的根,或称为函数f( x )的零点;

当 f( x )为多项式时,即

其中0<| g( x* )|<∞, m 为正整数,则称 x* 为 f(x )的 m 重零点,当m=1时,称 x*为 f( x )的单重零点或单根.

这里我们要求解的就是非线性方程的解（即零点）x*。

Note: 如果我们将凸函数g(x)的导数g'(x)作为f(x)并求其零点，其实我们就是求g'(x)=0的零点，这样就是求出凸函数g(x)的极值点，这样就是解决了最优化问题了。

一般情况下,用计算机求解非线性方程步骤

第一步:对方程 f( x )=0的根进行隔离.找出隔根区间(区间内包含方程的一个根).

第二步:利用迭代法计算满足一定精度的根近似值.在方程的隔根区间[a ,b]内从给定的一个(或多个)出发值 x 0 ,按某种方法产生一个序列x 0 ,x 1 ,x 2 ,...,x n ,...此序列在某种条件下收敛于方程的根 x * .

对高于4次的代数方程,不存在通用的求根公式,而对超越方程一般很难直接求出其准确解,所以,数值方法就是非常实用和有效的方法.

本博客主要介绍非线性方程求根的逐次逼近法,同时也讨论方法的收敛性和误差估计等问题.

皮皮blog

二分法

又称实根对分法。二分法本质上是一种区间迭代算法,在迭代过程中不断对隔根区间进行压缩,以区间中点逼近方程的根.它所涉及的理论是连续函数介值定理.

连续函数介值定理

设函数f(x)在区间a,b上连续,且f(a)f(b)<0,则方程f(x)=0在区间(a,b)内至少有一个根.

二分法的基本思想

对有根区间a,b逐次分半,首先计算区间a,b的中间点x0,然后分析可能出现的三种情况:

如果f(x0)f(a)<0,则f(x)在区间a,x0内有零点;

如果f(x0)f(b)<0,则f(x)在区间x0,b内有零点;

如果f(x0)=0,则x0是f(x)在区间a,b内所求零点.

过程的细节如下:

取a,b为起始区间,取区间中点x0=1/2(a+b),计算f(x0).若f(x0)=0,则x0就是方程的解;若f(x0)f(a)<0,取a1=a,b1=x0;

若f(x0)f(b)<0,取a1=x0,b1=b. a1,b1的长度是区间a,b的一半.

对任意n>0,设第n个区间为an,bn, 取区间中点xn=1/2(an+bn),计算f(xn).若f(xn)=0,则xn是方程的解;若f(xn)f(an)<0,取an+1=an,bn+1=xn;若f(xn)f(bn)<0,取an+1=xn,bn+1=bn.所得区间 a n+ 1,bn+1的长度是an,bn的一半.

二分法所得区间套性质

二分法收敛定理

当n充分大时,取xn=(an+bn)/2为方程的解x*的近似值,有如下二分法收敛定理.

二分法解非线性方程算法

皮皮blog

迭代法

迭代法利用逐次逼近过程求解非线性方程(或方程组),同样的计算过程往往要多次进行,而每次都要以前一次计算结果代入计算.在迭代计算中,选取迭代初值、按迭代格式进行迭代计算以及判别收敛是迭代的三个主要部分.

对迭代法研究的主要内容包括:迭代格式的构造、迭代过程的收敛性、迭代收敛速度的估计以及加速收敛的技巧.

不动点迭代

将方程f(x)=0变换成等价的形式x=φ(x),如果有x*满足f(x*)=0,则x*也满足x*=φ(x*),反之亦然,此时称x*是函数φ(x)的一个不动点.求f(x)的零点等价于求φ(x)的不动点.

选择一个初始近似值x0,按照以下公式迭代计算

xn+1=φ(xn)(n=0,1,...,n),

称为不动点迭代法,它产生的序列xk如果收敛到x*就是φ(x)的不动点.

迭代过程的几何图形解释

基本思想是 ,将求解隐式方程 f( x )=0 问题转化成计算一组显示的计算公式 x n+1 = φ (x n ).

f(x)=0变换为x=φ(x)的途径

可以通过不同的途径将方程f(x)=0变换为x=φ(x).例如,令φ(x)=x-f(x),也可以用其他更复杂的方法.原方程化为不同迭代格式时,有的迭代收敛,有的发散.收敛时,收敛的速度也有所不同.因此,用迭代法求方程f(x)=0近似解时,如何构造迭代函数φ(x),φ(x)满足什么条件能保证迭代收敛是必须研究的问题.