无约束最优化方法-牛顿法

转载 2016年06月01日 17:05:26

无约束最优化算法-Newton法原理及c++编程实现
6536人阅读 评论(5) 收藏 举报
本文章已收录于:
分类:

无约束最优化方法-牛顿法

牛顿法Newton'smethod)又称为牛顿-拉弗森方法Newton-Raphson method),它是一种在实数域和复数域上近似求解方程的方法,迭代的示意图如下:


总结@郑海波 blog.csdn.net/nuptboyzhb/

参考:斯坦福大学machine learning

本博客中所有源代码:http://download.csdn.net/detail/nuptboyzhb/4886786

求解问题:

1.无约束函数f的0点。

2.无约束函数f的最小值,最大值。



函数的曲线(matlab画出)



#include <iostream>

#include <math.h>

using namespace std;

#define f(x)  (pow(x,3)-4.0*pow(x,2)+3.0*x)

#define  df(x)    (3.0*pow(x,2)-8.0*x+3)

int main()

{

       doublex=9;//设置迭代的初始值

       doubleerr=1.0e-10;//设置精度

       intcount=0;

    while(true)

    {

              x=x-f(x)/df(x);

              if(abs(f(x))<err)

              {

                     break;

              }

              cout<<""<<count++<<"迭代x="<<x<<" f(x)="<<f(x)<<endl;

    }

       cout<<"函数f0点为:"<<x<<endl;

       return0;

}

结果讨论:

迭代结果与初始值有关,迭代的结果总是初始值x附近的0。如:

1.初始值x=9时,运行结果如下:

0迭代 x=6.51724 f(x)=126.47

1迭代 x=4.90174 f(x)=36.3714

2迭代 x=3.88768 f(x)=9.96551

3迭代 x=3.30967 f(x)=2.36715

函数f0点为:3.05742

Press any key tocontinue

2.初始值x=1.3时,运行结果如下:

函数f0点为:1.01545

Press any key tocontinue

3.初始值为-10时,运行结果如下:

0迭代 x=-6.26632 f(x)=-421.924

1迭代 x=-3.79793 f(x)=-123.873

2迭代 x=-2.18197 f(x)=-35.9783

3迭代 x=-1.14629 f(x)=-10.201

4迭代 x=-0.51317 f(x)=-2.72803

函数f0点为:-0.167649

Press any key tocontinue


  1. #include <iostream>  
  2. #include <math.h>  
  3. using namespace std;  
  4. #define  f(x)   (pow(x,3)-4.0*pow(x,2)+3.0*x)  
  5. #define df(x)    (3.0*pow(x,2)-8.0*x+3)  
  6. #define ddf(x)    (6.0*x-8)  
  7. int main()  
  8. {  
  9.     double x=1.2;//初始值  
  10.     double err=1.0e-10;  
  11.     int count=0;  
  12.     while (true)  
  13.     {  
  14.         x=x-df(x)/ddf(x);  
  15.         if (abs(df(x))<err)  
  16.         {  
  17.             break;  
  18.         }  
  19.         cout<<"第"<<count++<<"迭代x="<<x<<" df(x)="<<df(x)<<endl;  
  20.     }  
  21.     cout<<"函数f极点为:("<<x<<","<<f(x)<<")"<<endl;  
  22.     return 0;  
  23. }  


结果讨论:

迭代结果与初始值有关,迭代的结果总是初始值x附近的极值。如:

1.初始值x=9时,运行结果如下:

0迭代x=5.21739df(x)=42.9244

1迭代x=3.37549df(x)=10.1778

2迭代x=2.54484df(x)=2.06992

函数f极点为:(2.26008,-2.1072)

Press any key tocontinue

2.初始值x=1.2时,运行结果如下:

0迭代x=-1.65df(x)=24.3675

1迭代x=-0.288687df(x)=5.55952

函数f极点为:(0.282567,0.550886)

Press any key tocontinue

3.初始值为-10时,运行结果如下:

0迭代x=-4.36765df(x)=95.1702

1迭代x=-1.58537df(x)=23.2232

2迭代x=-0.259259df(x)=5.27572

函数f极点为:(0.292851,0.560622)

Press any key tocontinue

注意:对于只有1个0点的函数求解或只有一个极值的函数求解时,迭代结果一般与初始值的关系不大,但迭代次数会受影响。

转载请声明,未经允许,不得用以商业目的


无约束最优化方法学习笔记

这一段时间学习优化理论中的一些经典方法,写下一些要点和体会,帮助自己和有需要的人理解最优化方法。1.基础知识首先来看无约束最优化问题: minf(x)\begin{equation} \min f...
  • tomheaven
  • tomheaven
  • 2015年08月11日 23:12
  • 4657

无约束最优化问题

估计有些读者看到这个题目的时候会觉得很数学,和自然语言处理没什么关系,不过如果你听说过最大熵模型、条件随机场,并且知道它们在自然语言处理中被广泛应用,甚至你明白其核心的参数训练算法中有一种叫LBFGS...
  • nocml
  • nocml
  • 2012年12月12日 17:08
  • 13478

无约束问题的最优化方法

无约束最优化问题的求解方法
  • wxcdzhangping
  • wxcdzhangping
  • 2014年05月26日 11:07
  • 1367

最优化之无约束优化

转自:http://blog.csdn.net/mytestmy/article/details/16903537 1.1问题定义 1.1.1优化问题定义 最优化问题...
  • heyongluoyao8
  • heyongluoyao8
  • 2014年09月02日 13:58
  • 9186

牛顿法及牛顿法求解优化问题

牛顿法及牛顿法求解优化问题牛顿法
  • Timingspace
  • Timingspace
  • 2016年03月21日 15:52
  • 2384

无约束最优化方法-牛顿法

 无约束最优化算法-Newton法原理及c++编程实现 2012-12-14 13:04 6536人阅读 评论(5) 收藏 举报 本文章已收录于: 分...
  • starzhou
  • starzhou
  • 2016年06月01日 17:05
  • 1388

阻尼牛顿法求解无约束优化问题

  • 2011年05月29日 16:59
  • 713B
  • 下载

无约束最优化方法——牛顿法、拟牛顿法、BFGS、LBFGS

好久没写博客了,今天打开一看csdn终于可以用latex,不用到处去粘贴标签,方便了许多。且先试试效果如何。先讲讲一些优化方法。 最速下降法 牛顿法 拟牛顿法 SR1 BFGS DFP LBFGS 【...
  • lansatiankongxxc
  • lansatiankongxxc
  • 2015年05月20日 17:44
  • 3824

【机器学习详解】解无约束优化问题:梯度下降、牛顿法、拟牛顿法

无约束优化问题是机器学习中最普遍、最简单的优化问题。 x∗=minx f(x),x∈Rnx^*=min_{x}\ f(x),x\in R^n1.梯度下降梯度下降是最简单的迭代优化算法,每一次迭代需求...
  • luoshixian099
  • luoshixian099
  • 2016年07月06日 20:58
  • 5813

无约束最优化方法

无约束最优化方法最优化(Optimization)是工程技术、经济管理、 科学研究、社会生活中经常遇到的问题, 如:结构设计,资源分配,生产计划,运输方案等等。 最优化: 在一定条件下,寻求使目标...
  • u013007900
  • u013007900
  • 2015年05月29日 11:09
  • 1722
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:无约束最优化方法-牛顿法
举报原因:
原因补充:

(最多只允许输入30个字)