随机梯度下降

最新推荐文章于 2024-05-20 12:33:24 发布
最新推荐文章于 2024-05-20 12:33:24 发布
阅读量3k 收藏 3
点赞数
分类专栏： 算法 数据挖掘 文章标签： 随机梯度下降 优化

随机梯度下降(Stochastic Gradient Descent, SGD)是随机和优化相结合的产物，是一种很神奇的优化方法，属于梯度下降的一种，适用于大规模的问题 。
要想扯清楚它，还得先谈谈梯度下降。
众所周知，每个优化问题会有一个目标函数 f(w) ，
梯度下降就是采用迭代的策略，
从初始点 w1 开始，
每次沿着目标函数在当前点的负梯度方向前进一定的步长，即

wt+1=wt–ηt∇f(wt)

只要步长 ηt 设置合理，
这样可以得到一个单调递减的序列 {f(w1),…,f(wt),…} ，
直至最终不再下降，即可得到最优解 w∗ 。
对于一般优化问题，梯度下降可以找到局部最优解，对于凸优化问题，梯度下降可以得到全局最优解，下面我们只考虑凸优化问题。
考虑如下的目标函数

f(w)=∑i=1nf(w,xi)

其中 xi 是与 w 无关的常向量。
当 n 为很大的正整数时，例如几十万甚至几百万时，计算梯度:

∇f(w)=∑i=1n∇fi(w,xi)

代价很大，那么这个方法就行不通了。
但是这样的问题在机器学习领域又很常见，比如感知机(Perceptron)，支持向量机(Support Vector Machine, SVM)，套索(Least Absolute Shrinkage and Selection Operator, LASSO)等算法都可以写成如下的形式:

λΩ(w)+1n∑i=1nL(w,xi)

其中 Ω(w) 是关于 w 的凸正则化项，
L(w,xi) 是关于 w 的凸损失函数。
因此我们需要克服梯度下降计算开销太大的问题，那么，随机梯度下降就呼之欲出了。

随机梯度下降的基本想法很简单，就是不直接计算梯度的精确值，而是用梯度的无偏估计 g(w) 来代替梯度，即

wt+1=wt–ηtg(wt)

其中 E[g(wt) | wt]=∇f(wt) 。

那么肯定有人要问，这么简单，靠不靠谱啊？
可以证明的是在某些条件下，这样得到的序列
{f(w1),…,f(wt),…}
中的最小值依期望收敛 到 f(w∗) 。
具体来说，设

ηt≥0, ∑t=1∞η2t=||η||22<∞, ∑t=1∞ηt=∞

其中 η=[η1,η2,…]⊤ 是无穷维向量，
并假设存在常数 G 和R满足，
对于任意 t 有E[||g(wt)||22]≤G2， E[||w1–w∗||22]≤R2 ，
并记 fbest(t)=min{f(w1),…,f(wt)} ，
那么当 t→∞ 时， E[fbest(t)]→f(w∗) 。

结合条件期望的性质和 f 的凸性知

E[||wt+1–w∗||22 | wt]=E[||wt–ηtg(wt)–w∗||22 | wt]=E[||wt–w∗||22 | wt]–2ηtE[g(wt)⊤(wt–w∗) | wt]+η2tE[g(wt)2 | wt]=||wt–w∗||22–2ηtE[g(wt)⊤ | wt](wt–w∗)+η2tE[g(wt)2 | wt]=||wt–w∗||22–2ηt∇f(wt)(wt–w∗)+η2tE[g(wt)2 | wt]≤||wt–w∗||22–2ηt(f(wt)–f(w∗))+η2tE[g(wt)2 | wt]

两边同时对 wt 取期望，由重期望公式知

E[||wt+1–w∗||22]≤E[||wt–w∗||22]–2ηt(E[f(wt)]–f(w∗))+η2tG2

重复利用该式可得

E[||wt+1–w∗||22]≤E[||w1–w∗||22]–2∑j=1tηj(E[f(wj)]–f(w∗))+G2∑j=1tη2j

注意 E[||wt+1–w∗||22]≥0 ，
E[||w1–w∗||22]≤R2 以及 ∑tj=1η2j≤||η||22 ，
于是

2∑j=1tηj(E[f(wj)]–f(w∗))≤R2+G2||η||22

结合 E[fbest(t)]≤E[f(wj)] 可知

E[fbest(t)]–f(w∗)≤R2+G2||η||222∑tj=1ηj

由于 ∑∞t=1ηt=∞ ，故当 t→∞ 时有 E[fbest(t)]→f(w∗) 。

此外，由Markov不等式知对于 ∀ϵ>0 有

P(fbest(t)–f(w∗)≥ϵ)≤E[fbest(t)–f(w∗)]ϵ≤R2+G2||η||222ϵ∑tj=1ηj

即当 t→∞ 时有 P(fbest(t)–f(w∗)≥ϵ)→0 。

下面举几个机器学习里的具体例子，设训练集 S 有n个样本，
即 S={(x1,y1),(x2,y2),…,(xn,yn)} ，
由于有

Exi[∇L(w,xi)]=∑i=1n1n∇L(w,xi)=∇(1n∑i=1nL(w,xi))

成立，于是一个很直观的想法就是每次更新只随机选取一个样本 xi 来计算梯度。

感知机：感知机可形式化成如下的优化问题

minw   1n∑i=1nmax{0,–yiw⊤xi}

那么对应的更新公式为

wt+1=wt+ηt{ytxt0ytw⊤xt<0otherwise

支持向量机：支持向量机可形式化成如下的优化问题

minw   λ2||w||22+1n∑i=1nmax{0,1–yiw⊤xi}

那么对应的更新公式为

wt+1=wt–ηt{λwt–ytxtλwtytw⊤xt<1otherwise

套索：套索可形式化成如下的优化问题

minw   λ||w||1+1n∑i=1n12(w⊤xi–yi)2

设 w=u–v
且 u≥0,v≥0 ， e 为全 1 向量，
优化问题可重写为

minu,v   λu⊤e+λv⊤e+1n∑i=1n12(u⊤xi–v⊤xi–yi)2

那么对应的更新公式为

ut+1vt+1=max{0,ut–ηt(ut–ηt(λe+(w⊤xt–yt)xt))}=max{0,vt–ηt(vt–ηt(λe–(w⊤xt–yt)xt))}

最后再提一个小技巧，以支持向量机为例，它的更新公式为

wt+1=(1–ληt)wt+{ytxt0ytw⊤xt<1otherwise

当 x 维度很高而非零元素很少时， +ytxt 可以很高效地算出来，
但是第一项 (1–ληt)wt 的计算代价就有点高了，
因为 w 一般来说不是稀疏的，一个小技巧就是做个变量代换

wt=utαt

其中 αt 是标量，于是原来的更新式可以转化为如下只涉及标量计算和稀疏向量操作的更新过程

αt+1ut+1=αt1–ληt=ut+{αt+1ytxt0ytw⊤xt<1otherwise

phantom66
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
随机梯度下降法_通俗易懂讲解梯度下降法
weixin_39653442的博客
12-17 9358
前言：入门机器学习必须了解梯度下降法，虽然梯度下降法不直接在机器学习里面使用，但是了解梯度下降法的思维是后续学习其他算法的基础。网上已经有很多篇文章介绍梯度下降法。但大部分文章要么整一堆数学公式，要么就是简单说一下沿梯度的反方向下降最快就草草了事。本篇文章浅显易懂讲解，拥有高中数学知识即可看懂。1.引入我们先从一个案例入手，下图是一组上海市静安区的房价信息（别看了，数据我瞎编的，上海市静安区的房价...
深度学习：详解梯度下降、随机梯度下降、小批量随机梯度下降
qq_41298763的博客
10-27 2443
但每次迭代中只使用一个样本计算梯度，因此每次迭代的梯度都是有噪声的，毕竟不是所有样本的均值，所以下降（下山）会走一点弯路，但总体因为总的迭代次数很多，所以随机梯度下降法最终会收敛到最优解 ，还是划得来的。我们可以其看作一个下山的过程：对于梯度下降而已，是找到了最优的下山路径，所有它的曲线比较直，而对于随机梯度下降，它因为随机选一个样本ti来近似f(x)——所有样本的损失平均，所以找的并不是最优的下山路径，但方向是对的，只是要走弯路，因此它下山的曲线比较曲折。随机梯度下降，是指在时间t，
详解随机梯度下降法（Stochastic Gradient Descent，SGD）
热门推荐
YGQ_qq_1435471912
03-02 3万+
深度学习最常用的优化方法就是随机梯度下降法，但是随机梯度下降法在某些情况下会失效，这是为什么呢？带着这个问题我们接着往下看。 一个经典的例子就是假设你现在在山上，为了以最快的速度下山，且视线良好，你可以看清自己的位置以及所处位置的坡度，那么沿着坡向下走，最终你会走到山底。 ∑i=1n∇θf(θ;xi,yi)+∇θϕ(θ) \sum_{i=1}^{n} \nabla_{\theta} f\left(\theta ; x_{i}, y_{i}\right)+\nabla_{\theta} \phi(\theta
【机器学习】优化算法之：随机梯度下降（SGD）
最新发布
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-20 3202
机器学习，必会优化算法之 随机梯度下降
梯度下降法（二）——随机梯度下降法及其调试
m0_58700887的博客
06-20 1017
随机梯度下降法实现与调试
随机梯度下降算法
03-12
随机梯度下降（Stochastic Gradient Descent, SGD）是一种在机器学习和优化问题中广泛应用的迭代算法，尤其在处理大规模数据集时表现出高效性。它主要用于求解损失函数最小化的问题，例如在训练神经网络或者线性回归...
SGD随机梯度下降Matlab代码
02-21
SGD（Stochastic Gradient Descent，随机梯度下降）是一种常用的优化算法，广泛应用于机器学习领域，特别是训练深度学习模型时。在Matlab环境中实现SGD可以帮助我们更好地理解和掌握这一算法，同时也为实际项目提供...
Spark MLlib随机梯度下降法概述与实例
08-27
Spark MLlib随机梯度下降法概述与实例 Spark MLlib随机梯度下降法概述与实例是机器学习算法中的一种重要技术，用于解决线性回归问题。该算法通过不断地判断和选择当前目标下最优的路径，从而能够在最短路径下达到...
python实现随机梯度下降法
09-20
Python实现的随机梯度下降法（SGD）是一种优化算法，常用于机器学习中的参数调整。在大规模数据集上，传统的梯度下降法由于需要遍历所有数据来计算梯度，其效率低下，可能导致长时间收敛或陷入局部最优解。随机梯度...
Logistic算法（随机梯度下降法）的Python代码和数据样本
03-12
在Python中，可以使用NumPy库进行矩阵运算，Pandas库处理数据，Matplotlib库可视化结果，而Scikit-learn库则提供了现成的逻辑回归和随机梯度下降接口，简化了模型训练和评估的过程。在提供的`randomLogistic.py`文件...
随机梯度下降法概述与实例
不清不慎的博客
06-16 2万+
机器学习算法中回归算法有很多，例如神经网络回归算法、蚁群回归算法，支持向量机回归算法等，其中也包括本篇文章要讲述的梯度下降算法，本篇文章将主要讲解其基本原理以及基于Spark MLlib进行实例示范，不足之处请多多指教。 梯度下降算法包含多种不同的算法，有批量梯度算法，随机梯度算法，折中梯度算法等等。对于随机梯度下降算法而言，它通过不停的判断和选择当前目标下最优的路径，从而能够在最短路径...
随机梯度下降SGD算法理解
深圳湾刘能的博客
05-29 2万+
随机梯度下降算法（Stochastic gradient descent，SGD）在神经网络模型训练中，是一种很常见的优化算法。这种算法是基于梯度下降算法产生的，所以要理解随机梯度下降算法，必须要对梯度下降算法有一个全面的理解。 梯度下降： 这个算法我在之前的博文Logistic Regression的数学推导过程以及Python实现 中有详细的说明介绍，这里我们再来简单回顾一下梯度下降算法：假设...
深度学习理论——随机梯度下降法(SGD) & 反向传播
Miss_yuki的博客
06-08 1万+
大家好，一直在用深度学习，但是感觉理论并不扎实，打算开始补点理论基础，在CSDN上记录下来。 今天介绍随机梯度下降法和反向传播，首先介绍梯度下降法。 1.梯度下降法 梯度下降法是从初始值开始，向函数上当前点对应梯度的反方向的规定步长的距离点进行迭代搜索，最终得到最小值的过程。公式简易推导如下： 更直观的图像表示如图所示： 这是学习率为0.001，迭代两百次的示意图，当学习率设的更...
深度学习—随机梯度下降（SGD）
Duckie的博客
12-18 9475
线性支持向量机的随机梯度下降
Alter__的博客
01-08 956
算法和代码之间的误区 在看统计学习方法的时候，线性支持向量机学习算法变成代码时，下面这个函数不知道如何构造成算法： 为什么我认为需要上面这个函数呢，是因为随机梯度下降，需要求梯度，也就说求导，没有函数如何求导。（这是我当时单纯的想法）。 后来经过老师的解答发现，现实中从来不写这种函数，因为现实给你数据，你不会知道这个数据会满足什么样的函数的。所以一般的求梯度这个过程直接由数据完成，也就是说知道x，y，就可以求梯度。 参考：https://www.jianshu.com/p/9d8e8db52dde
25-随机梯度下降法
qq_41033011的博客
10-15 657
随机梯度下降法 1. 概念   我们之前学习的梯度下降法一直是要我们最优化的那个损失函数相应在某一点的 θθθ 那个梯度值准确的求出来。   那么通过推导的这个公式可以看出来，要想求出这个准确的梯度来，在这个式子中每一项都要对所有的样本（mmm 个）进行一下计算，前面是有一个求和计算的，那么这样的一个下降法通常又叫做批量梯度下降法（Batch Gradient Descent）。也就是说，每一次计算的过程都要将样本中所有的信息批量的进行计算，但是这显然就带来了一个问题，如果我们的 mmm 非常大，也就是
Stochastic Gradient Descent ( 随机梯度下降 )
striving
04-02 8618
Stochastic Gradient Descent (SGD) ( 随机梯度下降（ SGD ） ) 是一种简单但非常有效的方法，用于在诸如（线性）支持向量机和 逻辑回归 之类的凸损失函数下的线性分类器的辨别学习。即使 SGD 已经在机器学习社区中长期存在，但最近在大规模学习的背景下已经受到了相当多的关注。SGD 已成功应用于文本分类和自然语言处理中经常遇到的大规模和稀疏机器学习问题。SGD 已...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值