随机梯度下降法

转载 2015年07月09日 13:47:03

转载这一篇是为了与上一篇作对比:

一、误差准则函数与随机梯度下降:

对于给定的一个点集(X,Y),找到一条曲线或者曲面,对其进行拟合之。同时称X中的变量为特征(Feature),Y值为预测值。

如图:

                                      

一个典型的机器学习的过程,首先给出一组输入数据X,我们的算法会通过一系列的过程得到一个估计的函数,这个函数有能力对没有见过的新数据给出一个新的估计Y,也被称为构建一个模型。

我们用X1、X2...Xn 去描述feature里面的分量,用Y来描述我们的估计,得到一下模型:


我们需要一种机制去评价这个模型对数据的描述到底够不够准确,而采集的数据x、y通常来说是存在误差的(多数情况下误差服从高斯分布),于是,自然的,引入误差函数:


关键的一点是如何调整theta值,使误差函数J最小化。J函数构成一个曲面或者曲线,我们的目的是找到该曲面的最低点:


假设随机站在该曲面的一点,要以最快的速度到达最低点,我们当然会沿着坡度最大的方向往下走(梯度的反方向)

用数学描述就是一个求偏导数的过程:


这样,参数theta的更新过程描述为以下:

   (α表示算法的学习速率)



二、算法实现与测试:(相当于梯度下降,没有所谓的随机)

通过一组数据拟合 y = theta1*x1 +theta2*x2

  1. #Python 3.3.5  
  2. # matrix_A  训练集  
  3. matrix_A = [[1,4], [2,5], [5,1], [4,2]]  
  4. Matrix_y = [19,26,19,20]  
  5. theta = [2,5]  
  6. #学习速率  
  7. leraing_rate = 0.005  
  8. loss = 50  
  9. iters = 1  
  10. Eps = 0.0001  
  11. while loss>Eps and iters <1000 :  
  12.     loss = 0  
  13.     for i in range(3) :  
  14.         h = theta[0]*matrix_A[i][0] + theta[1]*matrix_A[i][1]   
  15.         theta[0] = theta[0] + leraing_rate*(Matrix_y[i]-h)*matrix_A[i][0]  
  16.         theta[1] = theta[1] + leraing_rate*(Matrix_y[i]-h)*matrix_A[i][1]  
  17.     for i in range(3) :  
  18.         Error = 0  
  19.         Error = theta[0]*matrix_A[i][0] + theta[1]*matrix_A[i][1] - Matrix_y[i]  
  20.         Error = Error*Error  
  21.         loss = loss +Error  
  22.     iters = iters +1  
  23. print ('theta=',theta)  
  24. print ('iters=',iters)  
求解结果:
  1. >>>   
  2. theta= [2.99809592161579454.001522800837675]  
  3. iters= 75  
但如果对输入数据添加一些噪声

  1. matrix_A = [[1.05,4], [2.1,5], [5,1], [4,2]]  
求解结果为:

  1. >>>   
  2. theta= [3.00959506851977253.944718521027671]  
  3. iters= 1000  
可见在有噪声的情况下,要及时调整模型误差精度、迭代次数上限,一期达到我们的需求。

相关文章推荐

随机梯度下降法步长的选择

1、随机梯度下降法步长的选择 以前网上有看到过,说是最好按3倍来调整,也就是0.00001、0.00003、0.0001、0.0003、0.001、0.003、0.01、0.03、0.1、0...

python实现房价预测,采用回归和随机梯度下降法

from sklearn.datasets import load_boston boston = load_boston() from sklearn.cross_validation impo...

CNTK从入门到深入研究(4) - SGD随机梯度下降法

前言CNTK中目前仅提供了一种学习方法,即SGD(Stochastic Gradient Descent Learner)随机梯度下降法。本文将针对CNTK中有关SGD随机梯度下降相关的训练配置选项进...

python实现随机梯度下降法

与梯度下降法进行了对比,论述了随机梯度下降法的基本思想,使用python+numpy实现了随机梯度下降法...

DistBelief 框架下的并行随机梯度下降法 - Downpour SGD

本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记,重点介绍...
  • peghoty
  • peghoty
  • 2014年06月17日 22:39
  • 13071

随机梯度下降法

一、考虑一下线性方程组

随机梯度下降法相关

在大规模机器学习问题中,很多算法最终都归结为一个这样的优化问题: minimizeω∈Rpg(ω):=1n∑i=1nfi(ω). \text{minimize}_{\omega \in R^p} \...

随机梯度下降法求解SVM(附matlab代码)

随机梯度下降法求解SVM的原理的简单介绍,以及Matlab代码
  • kkmnobj
  • kkmnobj
  • 2014年08月19日 15:36
  • 6299

白手起家学习数据科学 ——梯度下降法之“优化步长和随机梯度下降篇”(六)

虽然针对梯度移动的基本原理是清楚的,但是移动多少是不清楚的。的确,选择一个合适的步长是一门艺术。流行的选择包括: * 使用固定的步长 * 随时间逐步缩小步长 * 在每次迭代,选择最小化目标函数的步长...

梯度下降法和随机梯度下降法的区别

这几天在看《统计学习方法》这本书,发现 梯度下降法 在 感知机 等机器学习算法中有很重要的应用,所以就特别查了些资料。         一.介绍       梯度下降法(gradie...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:随机梯度下降法
举报原因:
原因补充:

(最多只允许输入30个字)