梯度下降法(一)入门

转载 2016年05月30日 15:17:40

梯度下降法(一)入门
22981人阅读 评论(12) 收藏 举报
本文章已收录于:
分类:

梯度下降法是一个一阶最优化算法,通常也称为最速下降法。我之前也没有关注过这类算法。最近,听斯坦福大学的机器学习课程时,碰到了用梯度下降算法求解线性回归问题,于是看了看这类算法的思想。今天只写了一些入门级的知识。




我们知道,函数的曲线如下:


编程实现:c++ code

  1. /* 
  2.  * @author:郑海波 
  3.  * blog.csdn.net/nuptboyzhb/ 
  4.  * 2012-12-11 
  5.  */  
  6. #include <iostream>  
  7. #include <math.h>  
  8. using namespace std;  
  9. int main()  
  10. {  
  11.     double e=0.00001;//定义迭代精度  
  12.     double alpha=0.5;//定义迭代步长  
  13.     double x=0;//初始化x  
  14.     double y0=x*x-3*x+2;//与初始化x对应的y值  
  15.     double y1=0;//定义变量,用于保存当前值  
  16.     while (true)  
  17.     {  
  18.         x=x-alpha*(2.0*x-3.0);  
  19.         y1=x*x-3*x+2;  
  20.         if (abs(y1-y0)<e)//如果2次迭代的结果变化很小,结束迭代  
  21.         {  
  22.             break;  
  23.         }  
  24.         y0=y1;//更新迭代的结果  
  25.     }  
  26.     cout<<"Min(f(x))="<<y0<<endl;  
  27.     cout<<"minx="<<x<<endl;  
  28.     return 0;  
  29. }  
  30. //运行结果  
  31. //Min(f(x))=-0.25  
  32. //minx=1.5  
  33. //Press any key to continue  

问题:

迭代步长alpha为什么要选择0.5??选择其他的值可以吗?它的取值与迭代的次数、收敛性及结果的准确性有何关系?如果选择alpha的值?下次好好的探讨。

  转载请声明:http://blog.csdn.net/nuptboyzhb/article/details/8281923

相关文章推荐

机器学习入门系列04,Gradient Descent(梯度下降法)

什么是梯度下降法?学习速率的引入;如何调整学习速率;Adagrad算法介绍;用泰勒展开式对梯度下降法进行数学理论支持...

CNTK从入门到深入研究(4) - SGD随机梯度下降法

前言CNTK中目前仅提供了一种学习方法,即SGD(Stochastic Gradient Descent Learner)随机梯度下降法。本文将针对CNTK中有关SGD随机梯度下降相关的训练配置选项进...

机器学习入门系列一(关键词:单变量线性回归,梯度下降法)

如上图所示,我们的目标是希望通过这些数据得到城市人口数和利润可能的对应关系,并可以通过城市人口数(利润)来预测它的利润(城市人口数),在这里我们先规定一下符号记法。 符号 含义 mm 训...

机器学习入门和批量梯度下降法

机器学习入门斯坦福大学Andrew Ng教授公开课: http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=Machi...

机器学习算法入门之(一) 梯度下降法实现线性回归

文章的背景取自An Introduction to Gradient Descent and Linear Regression,本文想在该文章的基础上,完整地描述线性回归算法。部分数据和图片取自该文...

CNTK从入门到深入研究(4) - SGD随机梯度下降法

http://blog.csdn.net/borisjineman/article/details/50726921 前言 CNTK中目前仅提供了一种学习方法,即SGD(Stoch...
  • pfjgeng
  • pfjgeng
  • 2017年06月20日 09:14
  • 269

梯度下降法入门

梯度下降法是一个一阶最优化算法,通常也称为最速下降法。我之前也没有关注过这类算法。最近,听斯坦福大学的机器学习课程时,碰到了用梯度下降算法求解线性回归问题,于是看了看这类算法的思想。今天只写了一些入门...

机器学习通俗入门-使用梯度下降法求解二分问题

回顾在前面的文章中介绍了使用梯度下降法解决回归问题。那么使用如何解决二分问题呢?问题现在有这么一个数据集 D=x,yD={x,y} 其中 xx 是观测到的数据,yy 是所属分类。我们想通过建立一个...

机器学习算法入门之(一)梯度下降法实现线性回归

1. 背景 文章的背景取自An Introduction to Gradient Descent and Linear Regression,本文想在该文章的基础上,完整地描述线性回归算法。部分数据...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:梯度下降法(一)入门
举报原因:
原因补充:

(最多只允许输入30个字)