机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

最新推荐文章于 2025-03-18 16:44:11 发布
最新推荐文章于 2025-03-18 16:44:11 发布
阅读量7w 收藏 173
点赞数 31
分类专栏： Machine Learning 文章标签： 超参数 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012162613/article/details/44265967
版权
本文探讨了在机器学习中如何选择超参数，如学习速率、正则项系数和Mini-batch大小。学习速率过大可能导致震荡，一般通过尝试确定合适值；早期停止策略能防止过拟合；可变学习速率在验证准确率无提升时减半，以逐步减小步长；正则项系数初始设为0，再依据验证准确率调整；Mini-batch大小应考虑计算加速和权重更新频率，可通过实验选择最佳值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）

学习速率（learning rate，η）

运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。

  • 固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则会导致代价函数振荡，如下图所示。就下图来说，一个比较好的策略是先将学习速率设置为0.25，然后在训练到第20个Epoch时，学习速率改为0.025。

关于为什么学习速率太大时会振荡，看看这张图就知道了，绿色的球和箭头代表当前所处的位置，以及梯度的方向，学习速率越大，那么往箭头方向前进得越多，如果太大则会导致直接跨过谷底到达另一端，所谓“步子太大，迈过山谷”。

在实践中，怎么粗略地确定一个比较好的学习速率呢？好像也只能通过尝试。你可以先把学习速率设置为0.01，然后观察training cost的走向，如果cost在减小，那你可以逐步地调大学习速率，试试0.1，1.0….如果cost在增大，那就得减小学习速率，试试0.001，0.0001….经过一番尝试之后，你可以大概确定学习速率的合适的值。

为什么是根据training cost来确定学习速率，而不是根据validation accuracy来确定呢？这里直接引用一段话，有兴趣可以看看：

This all seems quite straightforward. However, using the training cost to pick η appears to contradict what I said earlier

最低0.47元/天 解锁文章
深度学习之参数、超参数、正则化
学习中
11-04 465
深度学习之参数、超参数、正则化
Pytorch：动量与学习率
weixin_62637793的博客
11-19 1459
（1）动量：momentum，也可以说是惯性 ,经过变为 也就是说，权值w现在不只想着的方向衰减，也向着的方向进行衰减。而可以推出是由推出的。 也就是现在w更新是当前衰减方向和之前衰减方向的惯性的结合。 在代码中设置momentum时 optimizer=optim.SGD(net.parameters(),lr=learning_rate,momentum=args.momentum,weigh_decay=args.momentum) 对于优化器SGD是需要进行设置的，但是对于Adam优化
动量、学习率、Early Stopping、Dropout
dongcjava的博客
10-26 2979
动量和学习率 1、动量(momentum) 梯度更新： 动量： 其中Z表示的是前一次梯度的方向，根据矢量三角形法则，选取下次的运动方向。 不加动量的情况下，方向变化比较尖锐，没有考虑历史变化的情况，且容易局部最优。 加动量后，变化更加的缓和，依靠惯性，可能跳出局部最优解。 optimizer = SGD(learning_rate=0.02, momentum=0.9) optimizer = RMSprop(learning_rate=0.02, momentum=0.9) optimizer =
C++中的floor()函数，ceil()函数，round()函数
最新发布
ml29895063的博客
03-18 414
C++中的floor()函数，ceil()函数，round()函数
Pytorch学习笔记（7）：优化器、学习率及调整策略、动量
路人贾的博客
02-23 4184
Pytorch学习笔记（7）：优化器、学习率及调整策略、动量
学习率与动量的关系：此涨彼消，以达到动态平衡
nielinyuan1466的博客
01-09 1113
选择适当大小的学习率和动量，太大会使loss振荡，太小不足以使loss达到最优值。 1、train_gluon_ch7(‘sgd’, {‘learning_rate’: 0.004, ‘momentum’: 0.99}, features, labels) loss: 0.301315, 0.176527 sec per epoch 2、train_gluon_ch7(‘sgd’, {‘lear...
卷积神经网络：学习率、权重衰减、动量
weixin_40801853的博客
02-19 4983
学习率、权重衰减、动量被称为超参数，因为他们不是由网络训练而得到的参数   权重衰减 C0代表原始的代价函数，后面那一项就是L2正则化项，λ就是权重衰减项 作用：防止过拟合 过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）...
机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size1
08-08
本文将重点关注三个重要的超参数：学习速率（Learning Rate）、正则项系数（Regularization Coefficient）和Mini-batch大小，这些都是深度学习和机器学习算法中的关键组成部分。 1. 学习速率（Learning Rate, η）...
机器学习超参数选择：学习速率、正则项与mini-batch大小
总结来说，选取机器学习算法的超参数是一项关键任务，涉及到对学习速率、正则项系数和minibatch大小的精细化调整。这通常需要结合理论理解、实践经验和实验验证，以找到最优的超参数组合，确保模型在训练集上能够...
机器学习算法中如何选取超参数 学习速率 正则项系数 minibatch size
qq_44894516的博客
05-02 317
机器学习算法中如何选取超参数 学习速率 正则项系数 minibatch size
卷积神经网络（四）：学习率、权重衰减、动量
Fire_Light_的博客
03-14 1万+
学习率、权重衰减、动量被称为超参数，因为他们不是由网络训练而得到的参数 权重衰减 L2正则化就是在代价函数后面再加上一个正则化项： C0代表原始的代价函数，后面那一项就是L2正则化项，λ就是权重衰减项。 作用：防止过拟合 原理： 一个所谓“显而易见”的解释就是：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也...
pytorch学习笔记（十五）————动量与学习率衰减
01-06
pytorch学习笔记（十五）————动量与学习率衰减目录动量学习率衰减 目录 动量 从形式上看， 动量算法引入了变量 z充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称 动量（momentum），相当于引入动量前的梯度概念，指示着loss在参数空间下一步要下降的方向和大小。 其中wk+1w^{k+1}wk+1表示更新后权重；wkw^{k}wk表示更新前权重；zk+1z^{k+1}zk+1代表动量，，α表示学习率 从公式zk+1=βzk+▽f(wk)z^{k+1}=βz^{k}+▽f(w^{k})zk+1=βzk+▽f(wk)可以看出，zk+1z^{
动量与学习率衰减
milk_and_bread的博客
08-25 561
动量 取决于β参数的选取，根据矢量三角形法则，下次选取的方向 不加动量的情况下，方向变化比较尖锐，没有考虑历史变化的情况，且容易局部最优。 加动量后，变化更加的缓和，依靠惯性，可能跳出局部最优解。 学习率调整 ...
机器学习——动量与学习率衰减
qq_45802081的博客
04-05 611
动量 动量法是梯度下降法的变式，在随机梯度下降的同时，增加动量。 https://blog.csdn.net/weixin_40793406/article/details/84666803 学习率衰减 学习率 (learning rate) 介绍学习率1 https://blog.csdn.net/liulina603/article/details/80604385 学习率 (learning rate)，控制 模型的 学习进度 ： lr 即 stride (步长) ，即反向传播算法中的 ηη ： ω
超参数：学习率、权重衰减、动量
Lison_Zhu's Blog
08-14 1395
https://blog.csdn.net/rocling/article/details/92828799
用卷积神经网络检测脸部关键点的教程（三）学习率，学习动量，dropout
Mr.Phoebe的专栏
12-14 3882
本文翻译自Using convolutional neural nets to detect facial keypoints tutorial。用卷积神经网络检测脸部关键点的教程（一）环境配置与浅层网络训练 用卷积神经网络检测脸部关键点的教程（二）卷积神经网络训练和数据扩充 用卷积神经网络检测脸部关键点的教程（三）学习率，学习动量，dropout 用卷积神经网络检测脸部关键点的教程（四）通过
谈谈深度学习中的 Batch_Size
热门推荐
程引的专栏
11-12 14万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
【小笔记】算法训练时batch size设置多大合适？
xiangxiang613的专栏
03-04 1万+
梯度下降法通常分为三类： （1）批量梯度下降法：每次训练输入全部数据，能够考虑全部样本的梯度，获取到准确的梯度，但比较耗时，并且输入全部数据，可能内存或GPU装不下； （2）随机梯度下降法：每次随机选择一个样本进行训练，使用一个样本的梯度进行下降。比（1）快很多，也不占内存，但可能不会收敛； （3）mini-batch梯度下降法：为了每次训练尽可能的多输入一些样本，同时又不会太耗时和超内存，mini-batch将训练样本分为多个批次，一个一个的输入，最后将多个输入的结果进行平均，即得到一次完整训练的梯度。
神经网络之Mini-Batch梯度下降
Wendy的博客
04-12 3731
传统的梯度下降算法，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种梯度下降法叫做这称为Batch gradient descent(BDG)。我们知道 Batch 梯度下降的做法是，在对训练集执行梯度下降算法时，必须处理整个训练集，然后才能进行下一步梯度下降。当训练数据量非常多时，每更新一次参数都要把数据集里的所有样本都看一遍，虽然收敛性能好，但是一次迭代需要等待多长时间...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值