[李宏毅-机器学习]Tips for deep learning

最新推荐文章于 2023-10-20 16:11:32 发布
最新推荐文章于 2023-10-20 16:11:32 发布
阅读量236 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py184473894/article/details/104294787
版权

 

Activation fucntion

sigmoid对深层网络效果不好，可能会导致梯度消失问题

sigmoid对输入比较大，得到的输出比较小

ReLU

 

Maxout

自动学习出来需要的activation function

 

梯度下降优化方式

AdaGrad

 

RMSProp

Adagrad改进版，对过去和现在的梯度（不带方向，平方去掉了方向）进行加权

 

动量Momentum

用于避开local minima

动量就是之前梯度的累计，相当于惯性（带方向）

 

Adam=RMSprop+Momentum

 

Early Stopping

 

正则化 Regularization

 

Dropout

使用dropout时，在training时效果会变差，但是主要用于test

炼丹师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅2020机器学习课程笔记（一）- 分类与回归
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
随堂笔记--Tips for Deep Learning
qq_37210730的博客
08-25 306
一.改善训练集结果的措施 1.采用新的激活函数 在前面关于神经网络的学习中(包括在逻辑回归中的学习)，我们所用的激活函数都是sigmoid，即函数，根据我们上一篇中对神经网络使用梯度下降法时使用的BP算法的介绍我们有以下式子： 其中，，对g(z)求导有，这样就会导致一个问题，在使用反向传播算法确定参数优化模型结构时，越靠近输入层的部分随着迭代次数的增加，其梯度值会越...
李宏毅-ML Tips for Deep Learning(深度学习的技巧)
qq_36356587的博客
03-30 252
Tips for Deep Learning 当测试集上的效果不好时需要查看训练集上的错误率，有时候可能时因为训练集上就没有训练起来； 使用dropout相当于集成 不同的激活函数对训练结果的影响很大，通过数学推导的角度分析，例如sigmoid激活函数会导致前面层的参数到后面逐渐被削弱； 层数越多并不一定效果越好 梯度消失现象 有些神经元经过relu激活函数后会导致结果为0，所以使...
李宏毅机器学习之Tips of Deep Learning
Trony的博客
06-19 226
建立deep learning的三个步骤 define a set function goodness of function pick the best function 做完这些事之后我们可以得到一个neural network。在得到neural network之后，我们需要判断神经网络的表现。 一、判断神经网络的表现 1.1 神经网络的表现以及解决方案 首先我们需要检查，这个神经网络在我们的training set上有没有好的结果（是否陷入局部最优），没有的话，回头看，是那个..
tips for deep learning
futurewq的博客
06-25 225
当有一个网络结构时，该网络结构应用于某个问题上，那么du对于该网络结构的衡量就有不同的标准，可能是在训练集上的效果就不好；可能是在训练集上的效果很好，但是在测试集上的效果不好。如下图所示。 如上图所示，模型表现不好并不仅仅是过拟合，还有可能是欠拟合，即在训练集上的效果就很差。当出现不同的问题时，我们需要使用不同的方法来解决。我们通常很难利用深度学习的强大之处，并不是网络结构越深其效果越好。网...
deep learning tips
张帅的博客
05-09 240
dropout是为了防止过拟合，实在testing data上面效果不好时用的，而training data效果不好的时候不会考虑这个方法。
[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）
Holeung blog
06-06 6842
[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士） PDF VIDEORecipe of Deep Learning 在 training data上的performance不好Deeper usually does not imply betterVanishing Gradient Problem ReLU（Rectifi
9、【李宏毅机器学习（2017）】Tips for Deep Learning（深度学习优化）
Jimmyzqb的博客
08-29 4004
在上一篇博客中介绍了Keras，并使用Keras训练数据进行预测，得到的效果并不理想，接下来将以此为基础优化模型，提高预测的精度。 目录 误差分析 模型误差原因分析 模型优化方案 New activation function Vanishing Gradient Problem ReLU Maxout Maxout介绍 Maxiout方法的训练 Adaptive Lear...
机器学习 -- Tips for Deep Learning
01-30
Tips for Deep Learning Do not always blame Overfitting Hard to get the power of Deep ... Vanishing Gradient Problem ReLU Maxout RMSProp
深度学习03：Tips for Deep Learning
weixin_40313252的博客
12-22 915
文章目录1 做deep learning的流程2 欠拟合对策2.1 New activation function2.1.1 Gradient Problem（梯度消失）2.1.2 ReLU2.1.3 Maxout2.2 Adaptive learning rate2.2.1 Adagrad2.2.2 Momentum2.2.2 RMSProp2.2.3 Adam3 过拟合对策3.1 early stopping3.2 Regularization3.3 Dropout 深度学习理论系列： 深度学习01 深
【深度学习 理论】Tips for Deep Learning-1
一定要站在自己热爱的生活里闪闪发光
08-16 3万+
一、Recipe of Deep Learning DL训练完后，要先在训练集上测试，如果训练集的测试结果不好，就要回去进行修改。如果在训练集上的测试结果较好，那么再去测试集上测试效果。如果结果不好的话，是overfitting，这个时候要解决过拟合的问题。 不要看到训练结果就认为是overfitting，如果都按照是overfitting去直接通过调整model的话，你的model的效果可能会更差。 下面这个例子，就不是overfitting的问题。 看到这个图，56层的神经网络
李宏毅机器学习（7）—Tips for Deep Learning（1）
qq_37217397的博客
02-12 195
在这节课之前，李宏毅老师还介绍了一些其他与DL相关的知识，包括Backpropagation（反向传播），和Keras的使用方法，不过这部分比较简单，所以我不单独再做笔记。 DL与ML的一个重要区别 ...
机器学习-11-Tips for Deep Learning(深度学习的技巧和优化方法)
迷雾总会解
12-07 625
本文会顺带解决CNN部分的两个问题： 1、max pooling架构中用到的max无法微分，那在gradient descent的时候该如何处理？ 2、L1 的Regression到底是什么东西 本文的主要思路：针对training set和testing set上的performance分别提出针对性的解决方法 1、在training set上准确率不高： new activation function：ReLU、Maxout adaptive learning rate：Adagrad、RMSProp
深度学习5.2——Tips for Deep Learning
最新发布
weixin_63194616的博客
10-20 115
首先，我们在之前提到过深度学习的基本步骤：经过这三个步骤训练出一个神经网络，如果该神经网络无法在训练集上得到好的结果，那么需要重新返回到这三个步骤，如果可以得到好的结果，那么观察该神经网络能否在测试集上得到好的结果，如果不行，那么称之为，需要回到上述的三个基本步骤，如果可以，那么结束整个过程。随着模型层数的增加， 模型的准确率越来越低。但这并不是因为模型了，上图只意味着模型在训练的时候都没有达到好的效果。出现这种情况的原因是参数变化对Cost的变化减小。即在靠近模型输入层的梯度比较小，参数更新较慢；
【深度学习 理论】Tips for Deep Learning-2
热门推荐
一定要站在自己热爱的生活里闪闪发光
08-17 3万+
当训练集效果好但测试集效果差时，有以下解决办法： 1.Early Stopping 理想情况下，Learning rate和Loss会越来越小。 early stopping是搞一个Validation Set，当模型在验证集上的误差比上一次训练结果差的时候停止训练。 2.Regularization（正则化） 重新定义去minimized的Loss Function。但这个方法对训练效果的改善并步显著。 正则化不一定只能用L2正则化，也可以用L1正则化。 使用L.
机器学习系列 九 - 2. Tips for Deep Learning - adaptive learning rate
04-18 658
下图所说的testing data 不是真正的testing data， 而是我们已经labeled 数据，是validation setAdaptive Learning Rate之前再讲gradient descent的时候已经讲过adaptive learning rate了。在那个时候，我们会用一次微分来估算二次微分的值，那是在假设说二次微分很固定的情况。在·但是实际上，我们真正面对问题的...
机器学习系列 九 -3. Tips for Deep Learning - for testing data
04-18 178
 下图所说的testing data 不是真正的testing data， 而是我们已经labeled 数据，是validation set一. Early Stopping理想情况下，在training set上如果leraning rate 调的对的话，total loss 会越来越小；但我们也知道在testing set 和training set 上他们的distribution 分布 不...
李宏毅教授详解机器学习入门与深度学习基础
本资源是一份由台湾教授李宏毅(Hung-yi Lee)针对机器学习初学者设计的深入浅出的教程，以“机器学习入门”为主题。课程内容涵盖了深度学习的基础技术，包括讲座IV至讲座I，从“Next Wave”到“Introduction of Deep ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值