李宏毅机器学习11—Tips for training DNN2

最新推荐文章于 2022-01-23 20:52:30 发布
最新推荐文章于 2022-01-23 20:52:30 发布
阅读量122 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57178683/article/details/116121911
版权
本文介绍了在深度学习模型训练过程中，如何改善模型性能，如使用RmsProp、Momentum和Adam优化算法来调整学习率。此外，还探讨了在测试数据上表现差时的解决方案，包括早停策略、正则化以及Dropout技术的应用，以防止过拟合并提高模型泛化能力。
摘要由CSDN通过智能技术生成

接上篇，当训练模型表现差时，还可以改变学习率。

之前讲过的adagrad算法

w2在竖直方向上，因为梯度比较大，比较陡峭，所以就选用比较小的学习率

w1在横方向上，因为梯度比较小，比较平缓，所以就选用比较大的学习率。


但是实际情况比这复杂很多，

当遇到上图这种情况时，同一个方向，不同地方的梯度变化也是不一样的，也需要学习率快速变化。这个时候就需要RmsProp。

 

RmsProp算法

用学习率 η除以σ，σ0就是第一次gradient的值g0。第二次，算出一个新的gradien g1，此时，新的σ1就是原来的σ0的平方乘以α，再加上(1-α)乘以g1的平方。最后开根方。α可以自己调整。当α较小时，1-α更大，表示更倾向于相信新的梯度，反之同理。

 

通常卡主的位置

最低0.47元/天 解锁文章
zeng-233
关注
李宏毅机器学习10—Tips for training DNN1（第二周）
weixin_57178683的博客
04-25 171
DNN的步骤： 第一步：定义函数集 第二步：评估函数的好坏、 第三步：选取最好的函数 当训练结果表现差时，修改上面三步 当训练结果表现好的，再看测试结果的表现，表现好就成功了，表现差就是过拟合。 如果训练结果本身就差，测试结果也差时，并不是过拟合。 一、对于训练数据上的表现比较差时： 1.需要新的激活函数:也就是说训练数据时函数出现了问题 2.梯度消失问题： 前提：神经网络的层数过多 表现：当靠近输入层时，参数对loss函数的微分很小：靠近输出层时，微分很大。在设定相同的学习.
机器学习 李宏毅 L18-Tips for Training DNN
okgagaga的博客
01-29 430
Neural Network的一般步骤 对于DNN，训练数据的误差也反映了模型的性能，首先需要保证训练集的误差较小，然后才能进行测试。因此，存在不同的方法，针对于training data或者testing data。 针对traing的改进方法 1. New activation function 网络越深，并不一定会保证training效果越好，会出现vanishing
Scikit-learn section11 for cvpytorch
m0_59540543的博客
01-23 1064
英文官方教程链接： https://scikit-learn.org/stable/modules/sgd.htmlhttps://scikit-learn.org/stable/modules/sgd.html很抱歉，因为学着学着就感觉到了一丝厌倦，不知道自己到底在学习什么东西，但是走走停停又回来了。这也导致可能有些文章的内容质量不行，还望谅解，等我到达另一个境界的时候还是会回来完善的。 这一节讲的是随机梯度下降法 SGD。它被成功用在大规模且稀疏的机器学习问题。严格来说，它只是一个优化技巧，并不能真
2020李宏毅机器学习笔记-Tips for Training DNN
zn961018的博客
04-25 375
Tips for Training DNN 本节课目的和内容： 本文的主要思路：针对training set和testing set上的performance分别提出针对性的解决方法 1、在training set上准确率不高： new activation function：ReLU、Maxout adaptive learning rate：Adagrad、RMSProp、Momentum、Adam 2、在testing set上准确率不高：Early Stop...
【李宏毅机器学习2017】tips for training DNN
Breau的博客
07-24 198
本次课程的目录： 激活函数 使用sighmoid函数容易造成梯度消失的原因是： DNN中，越靠近输出层的权重的梯度越大，因此，能更快地学习到位；而越靠近输入的权重梯度越小，几乎都是随机的。 sigmoid函数所表示的映射关系，决定了w造成的变化在逐层传递的过程中会逐级减弱。 ReLU relu会使得计算过程中一部分神经元的输出变为0（相当于剔除），而另一部分神经元则变成线性神经元。这样，总体的网络还是非线性的。 Relu的变体： Maxout 学习激活函数。（Relu是maxout的一个特例） 此种
李宏毅学习笔记9Tips for Training DNN
老毛的博客
05-31 818
文章目录前言DL的菜谱（方法）Recipe不同问题不同方法Training data性能差激活函数改进ReLUReLU变种Maxout怎么吹（Train）Maxout自适应学习率RMSpropMomentumAdamtesting data 性能差Early StoppingRegularizationDropout 抓爆抓爆的科学解释 前言 打开就吓到，86min的课程，这节课有很多老师独特的视...
【李宏毅机器学习笔记】8、Tips for Training DNN
ACL_lihan的博客
02-18 1164
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning -----------------...
【笔记】机器学习 - 李宏毅 - 10 - Tips for Training DNN
YanqiangWang的专栏
08-21 152
神经网络的表现 在Training Set上表现不好 ----> 可能陷入局部最优 在Testing Set上表现不好 -----> Overfitting 过拟合 虽然在机器学习中，很容易通过SVM等方法在Training Set上得出好的结果，但DL不是，所以得先看Training Set上的表现。 要注意方法适用的阶段： 比如：dropout方法只适合于：在Traini...
李宏毅2020机器学习深度学习 14 Tips for Training DNN
Stephanie的博客
01-30 266
It's not the problem of underfitting, it is just not welltrained. Why bigger network doesn't have the same good performance asthesmaller one? Maybe it has the ability but it is not well trained. Dropout : when there are good results on training data...
numcodecs-0.10.0-cp39-cp39-win_amd64.whl
10-19
numcodecs-0.10.0-cp39-cp39-win_amd64.whl
【BP时序预测】基于雾凇优化算法RIME-BP实现负荷数据预测单输入单输出附matlab代码.rar
10-20
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
【JCR一区级】Matlab实现北方苍鹰优化算法NGO-CNN-BiLSTM-Attention的故障诊断算法研究.rar
最新发布
10-20
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
双碳数字化平台及场景应用解决方案（28页 PPT）.pptx
10-19
双碳数字化平台及场景应用解决方案（28页 PPT）
低级编程语言汇编的特性, 项目案例及应用场景
10-19
汇编语言 内容概要：本文详细介绍了汇编语言的特点、应用场景及其编写示例。汇编语言是一种低级编程语言，使用助记符来代表机器指令，与硬件紧密结合，执行效率高但可读性差。常见应用场景包括操作系统内核、设备驱动程序、嵌入式系统、性能优化等领域。 适用人群：软件开发人员，特别是对底层编程感兴趣的开发人员。 使用场景及目标：了解汇编语言的基本概念和特点；学习在操作系统内核、设备驱动程序、嵌入式系统、性能优化等场景中使用汇编语言的方法和技巧；掌握汇编语言的基础知识和编程工具。 其他说明：文章还提供了学习汇编语言的方法和资源，帮助初学者快速入门。
数学建模模板 华为杯，高教杯
10-19
数学建模模板 华为杯，高教杯
毕业设计项目Python基于机器学习的商品评论情感分析项目源码+数据集+训练好的模型+GUI界面
10-19
毕业设计项目Python基于机器学习的商品评论情感分析项目源码+数据集+训练好的模型+GUI界面，该项目是个人毕设项目，答辩评审分达到98分，代码都经过调试测试，确保可以运行！欢迎下载使用，可用于小白学习、进阶。该资源主要针对计算机、通信、人工智能、自动化等相关专业的学生、老师或从业者下载使用，亦可作为期末课程设计、课程大作业、毕业设计等。项目整体具有较高的学习借鉴价值！基础能力强的可以在此基础上修改调整，以实现不同的功能。 毕业设计项目Python基于机器学习的商品评论情感分析项目源码+数据集+训练好的模型+GUI界面 毕业设计项目Python基于机器学习的商品评论情感分析项目源码+数据集+训练好的模型+GUI界面毕业设计项目Python基于机器学习的商品评论情感分析项目源码+数据集+训练好的模型+GUI界面毕业设计项目Python基于机器学习的商品评论情感分析项目源码+数据集+训练好的模型+GUI界面毕业设计项目Python基于机器学习的商品评论情感分析项目源码+数据集+
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值