深度学习记录--mini-batch gradient descent

蹲家宅宅

于 2024-01-19 21:37:25 发布

阅读量1.1k

点赞数 20

分类专栏：深度学习记录文章标签：深度学习 batch 人工智能

本文链接：https://blog.csdn.net/Xudong_12345/article/details/135659487

版权

深度学习记录专栏收录该内容

26 篇文章 2 订阅

订阅专栏

batch vs mini-batch gradient descent

batch：段，块

与传统的batch梯度下降不同，mini-batch gradient descent将数据分成多个子集，分别进行处理，在数据量非常巨大的情况下，这样处理可以及时进行梯度下降，大大加快训练速度

mini-batch gradient descent的原理

两种方法的梯度下降图如下图所示

batch gradient descent是一条正常的递减的曲线

mini-batch gradient descent是一条噪声很大的曲线，分成许多小段时，每个小段是一条batch gradient descent曲线，总体看这条曲线还是递减的趋势

为什么会有区别呢？

mini-batch gradient descent中的 $x^{\left \{ i \right \}}$ , $y^{\left \{ i \right \}}$ 可能容易计算，也可能很难计算，这就导致cost时高时低，出现摆动，其实主要是mini-batch的大小的原因

mini-batch size

当size=m，mini-batch gradient descent变为batch gradient descent

梯度下降的噪声更小，步长更大，最终会收敛于最小值(如下图蓝色曲线)

弊端：如果数据量很大时，单次迭代时间过长

当size=1，变为随机梯度下降(stochastic gradient descent),每个样本都是独立的

每个样本都是随机的，可能靠近最小值，也可能远离最小值，噪声很大，无法收敛，最终在最小值附近波动(如下图紫色曲线)

弊端：由于每次只处理一个训练样本，失去了向量化的加速效果，训练效率过低

合适的size-->between1 and m

既可以获得向量化的加速效果，又可以及时进行后续操作(减少单次迭代时间)

梯度下降图如下图绿色曲线(噪声相对随机梯度下降较小，最终不会收敛，在最小值附近波动

蹲家宅宅

关注

20
点赞
踩
18

收藏

觉得还不错? 一键收藏
0
评论
深度学习记录--mini-batch gradient descent

与传统的batch梯度下降不同，mini-batch gradient descent将数据分成多个子集，分别进行处理，在。当size=m，mini-batch gradient descent变为batch gradient descent。的曲线，分成许多小段时，每个小段是一条batch gradient descent曲线，总体看这条曲线还是。可能容易计算，也可能很难计算，这就导致cost时高时低，出现摆动，其实主要是。每个样本都是随机的，可能靠近最小值，也可能远离最小值，当size=1，变为。
复制链接

扫一扫