梯度下降法(一)入门

梯度下降法是一个一阶最优化算法,通常也称为最速下降法。我之前也没有关注过这类算法。最近,听斯坦福大学的机器学习课程时,碰到了用梯度下降算法求解线性回归问题,于是看了看这类算法的思想。今天只写了一些入门级的知识。




我们知道,函数的曲线如下:


编程实现:c++ code

[cpp]  view plain copy
  1. /* 
  2.  * @author:郑海波 
  3.  * blog.csdn.net/nuptboyzhb/ 
  4.  * 2012-12-11 
  5.  */  
  6. #include <iostream>  
  7. #include <math.h>  
  8. using namespace std;  
  9. int main()  
  10. {  
  11.     double e=0.00001;//定义迭代精度  
  12.     double alpha=0.5;//定义迭代步长  
  13.     double x=0;//初始化x  
  14.     double y0=x*x-3*x+2;//与初始化x对应的y值  
  15.     double y1=0;//定义变量,用于保存当前值  
  16.     while (true)  
  17.     {  
  18.         x=x-alpha*(2.0*x-3.0);  
  19.         y1=x*x-3*x+2;  
  20.         if (abs(y1-y0)<e)//如果2次迭代的结果变化很小,结束迭代  
  21.         {  
  22.             break;  
  23.         }  
  24.         y0=y1;//更新迭代的结果  
  25.     }  
  26.     cout<<"Min(f(x))="<<y0<<endl;  
  27.     cout<<"minx="<<x<<endl;  
  28.     return 0;  
  29. }  
  30. //运行结果  
  31. //Min(f(x))=-0.25  
  32. //minx=1.5  
  33. //Press any key to continue  

问题:

迭代步长alpha为什么要选择0.5??选择其他的值可以吗?它的取值与迭代的次数、收敛性及结果的准确性有何关系?如果选择alpha的值?

alpha看成是步长,X每次变化的程度。

alpha越大,X每次变化比较大,最后结果越不精确。

值越大,迭代次数越少,结果不一定准确。
值越小,迭代次数越多,结果准确,但效率会降低。


PS:这里的alpha选择0.5比较特殊,对于发现问题没什么帮助。

你可以吧alpha换成1/3试试(自己写个程序跑一下或者用上面的程序),输出每一步的结果会发现,每次X都会进一步地接近最小值。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值