梯度下降法

梯度下降法是一个一阶最优化算法，通常也称为最速下降法。我之前也没有关注过这类算法。最近，听斯坦福大学的机器学习课程时，碰到了用梯度下降算法求解线性回归问题，于是看了看这类算法的思想。今天只写了一些入门级的知识。

我们知道，函数的曲线如下：

编程实现：c++ code

 
 

   
   

    
    

   
   
   
   

    
    

     
     /*
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
      * @author:郑海波
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
      * blog.csdn.net/nuptboyzhb/
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
      * 2012-12-11
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
      */
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     #include <iostream>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     #include <math.h>
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     using 
     
     namespace 
     
     std;
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     int main()
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     {
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     double e=
     
     0.00001;
     
     //定义迭代精度
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     double alpha=
     
     0.5;
     
     //定义迭代步长
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     double x=
     
     0;
     
     //初始化x
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     double y0=x*x
     
     -3*x+
     
     2;
     
     //与初始化x对应的y值
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     double y1=
     
     0;
     
     //定义变量，用于保存当前值
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     while (
     
     true)
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     	{
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     		x=x-alpha*(
     
     2.0*x
     
     -3.0);
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     		y1=x*x
     
     -3*x+
     
     2;
    
    
   
   

   
   

    
    

   
   
   
   

    
    
		
     
     if (
     
     abs(y1-y0)<e)
     
     //如果2次迭代的结果变化很小，结束迭代
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     		{
    
    
   
   

   
   

    
    

   
   
   
   

    
    
			
     
     break;
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     		}
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     		y0=y1;
     
     //更新迭代的结果
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     	}
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     cout<<
     
     "Min(f(x))="<<y0<<
     
     endl;
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     cout<<
     
     "minx="<<x<<
     
     endl;
    
    
   
   

   
   

    
    

   
   
   
   

    
    
	
     
     return 
     
     0;
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     }
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     //运行结果
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     //Min(f(x))=-0.25
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     //minx=1.5
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     //Press any key to continue
    
    
   
   
 
 

问题：

迭代步长alpha为什么要选择0.5？？选择其他的值可以吗？它的取值与迭代的次数、收敛性及结果的准确性有何关系？如果选择alpha的值？下次好好的探讨。

  文章出处：http://blog.csdn.net/nuptboyzhb/article/details/8281923