李宏毅2021春季机器学习课程视频笔记6-模型训练不起来问题(Batch和Momentum)

已于 2023-04-10 17:18:44 修改
阅读量77 收藏
点赞数
分类专栏： 李宏毅机器学习笔记 文章标签： 机器学习 人工智能 深度学习
于 2023-04-07 23:08:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39435970/article/details/130022191
版权

 为什么要有Batch？

实际计算中，并不会把每个样本单独拿出来做参数的更新，实际是按照Batch来做，为各个参数选择不同的初值 ，其次依次计算每个Batch的梯度，并对参数更新（都是按照Batch来进行计算）。所有的Batch计算一次叫做一个epoch。

使用batch的原因：

 

 

 

 

 

 

 

Momentum

 一般Gradient Descent

 Gradient Descent + Momentum

（不仅仅考虑梯度方向，同时考虑上一次参数更新的方向）

 

好学的同学
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AIStudio训练模型无反应的解决办法
hhxxss_xd的博客
10-29 1059
AIStudio训练模型无反应的解决办法
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
2-3 李宏毅2021春季机器学习教程-类神经网络训练不起来怎么办（二）批次与动量（Batch and Momentum）
csdn_xmj的博客
11-22 1444
介绍了机器学习时训练神经网络的第二个策略：批次与动量。
2022李宏毅机器学习深度学习学习笔记第八周--batch和momentum
qq_45612705的博客
06-12 479
本节主要讲述了batch和momentum，主要讲述为什么要用batch，通过对比讲述了batch大小的特点；通过物理例子引出momentum，讲述了以前的梯度下降和加上动量的梯度下降。
李宏毅2021春季机器学习教程HW1-COVID-19 Cases Prediction (Regression)解答
csdn_xmj的博客
11-13 7086
def save_pred(preds, file): ''' Save predictions to specified file ''' print('Saving results to {}'.format(file)) with open(file, 'w') as fp: writer = csv.writer(fp) writer.writerow(['id', 'tested_positive']) for i, p i.
李宏毅老师《机器学习》课程笔记-2.1模型训练技巧
宁萌Julie的博客
05-15 823
本文介绍了机器学习的模型性能分析方法，以及一些模型训练技巧。
【深度学习】李宏毅2021/2022春深度学习课程笔记 - Deep Learning Task Tips
知不足而奋进，望远山而前行
12-11 2万+
如下图所示，我们会把原始训练资料分为训练集和验证集，其中假设验证集占原始训练资料的三分之一，那么就可以进行三折交叉验证，根据将原始训练数据分为三个不同的验证集和训练集，可以训练出三个模型，我们最终会选择这三个模型中，在验证集上Loss最小的作为最终模型。还是看上一节课讲的案例，2/26是星期五，按照以往的规律，星期五一般学习Deep Learning的人数都是比较少的，所以模型也认为2/26日播放量应该比较少，然而事实是，2/26反而是播放量最多的一天。尝试不同的模型，对比不同模型下，训练过程的Loss。
batch and momentum（李宏毅机器学习课程笔记6）
qq_69900890的博客
08-20 127
两个极端情况，一个是batch为全部，另一个是1，看上去batch大的需要计算的时间长但是稳定，另外一个小的时间短但是不稳定。1和1000也不会差太多，但是如果太大就不行了。实际上总的太说大的batch相对花的时间比较短。但是过大的batch还会导致，训练的效果变差，原因就是输入的训练资料太多了，优化失败了。但是还有一个平行计算的问题。那么大的batch就不一定时间比较长。加上momentum之后：要根据gradient和上一步的方向合起来运算。一般的算出gradient然后反方向更新，然后重复。
李宏毅2021春季机器学习课程笔记3：Optimization & Tips for Training & Classification
An_dy_code的博客
11-02 591
文章目录1. The reason why Optimization fails1.1 local minima or saddle point ？1.2 update forward2. Tips for training2.1 Batch2.1.1 what is batch？2.1.1 why shall we use batch？ 1. The reason why Optimization fails 当我们的model无法进一步update参数时候，loss不再下降，我们猜想是因为gradie
李宏毅2021&2022机器学习
热门推荐
啥都生的博客
03-01 5万+
重磅须知  2022仅在2021基础上进行小补充，2021内容变成了前置知识，UP会在视频标题打上2022的标签；    2021资料已打包装进百度云盘，ppt/pdf支持直链下载。    （选修）To Learn More是21/22通用的，放入云盘：提取码：sr0o 更新日志 日期 项目 2021/03/16 更新HW1、HW2，同步更新助教范例 2021/03/26 更新HW3、HW4课件、代码、范例；release页发布HW1-HW4数据 2021/04/01 更新选修.
Lhy_Machine_Learning：李宏毅2021Spring机器学习课程课件及作业
03-03
Learning李宏毅2021Spring机器学习课程课件及作业B站视频地址： : 课程主页： : 不定期分享读研干货，点赞关注一起进步： ://space.bilibili.com/46880349人工智能技术探讨群：78174903 第一节简介作业HW1：回归第二...
李宏毅老师2021深度学习课程笔记.pdf
10-08
李宏毅老师的2021深度学习课程笔记中提到了几个关键知识点，涉及了深度学习训练技巧以及理论基础。 首先，课程提到了模型泛化能力的重要性，尤其是在模型的测试集划分上。这里提到了两种测试集的划分：public ...
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ ...
机器学习中的没有免费午餐定理
qq_36566678的博客
08-21 378
而支持向量机呢，在处理线性可分问题时表现得极为出色，但对于大规模数据集的训练，却可能会耗费大量的时间。你的心中怀揣着一个强烈的渴望，那就是找到一种万能的算法，它能够轻松解决所有的机器学习问题，就仿佛拥有了一把可以开启任何宝藏大门的神奇钥匙。免费午餐定理郑重地告诉我们，在所有可能的问题分布上，没有一种算法能够始终比其他算法表现得更加出色。在广阔无垠的机器学习领域中，免费午餐定理就如同一把神奇的钥匙，为我们打开理解不同算法之间关系的大门，同时也让我们看清这些算法在实际应用中的局限性。
机器学习在旅游业的革新之旅
jun778895的博客
08-21 686
随着技术的不断进步和应用的不断深化，机器学习在旅游业中的应用前景越来越广阔。它不仅提升了旅游服务的智能化水平，还极大地增强了旅客的满意度和忠诚度。然而，我们也应认识到，机器学习在旅游业的广泛应用仍面临一些挑战和限制，如数据隐私保护、算法透明度、技术普及率等问题。因此，在未来的发展中，需要平衡技术创新与伦理规范，确保技术的健康发展。
机器学习：一元线性回归模型
纸上得来终觉浅
08-18 588
一元线性回归模型
[机器学习]--线性回归算法
最新发布
人工智能专业学生
08-21 921
FC⋅59​32××线性回归(Linear regression)就是利用回归函数对一个或多个自变量和因变量关系建立类似如上模型的一种分析方式hww1​x1​w2​x2​...bwTxb其中w1​w2​...称为系数x1​x2​...是自变量hw​bw1​w2​...​​⋅​1x1​x2​...​​根据自变量的数量, 可以将线性关系分为单变量线性关系, 多变量线性关系。
李宏毅2021机器学习课程：self-attention技术解析
"李宏毅老师的2021年机器学习课程讲义——self-attention" 在深度学习领域，self-attention机制是近年来受到广泛关注的一种技术，尤其在自然语言处理（NLP）和序列建模任务中表现突出。该机制首次在Transformer模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值