[学习日志]深度学习-李宏毅 深度学习的一些技巧

最新推荐文章于 2022-03-13 11:06:04 发布
最新推荐文章于 2022-03-13 11:06:04 发布
阅读量145 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/112897135
版权

关于过拟合

过拟合的很重要一个评判标准:在训练集上结果足够好

关于DropOut

只有在训练集很好 且 测试集不好的时候用
如果训练集效果很差,Dropout之后只会更差

关于深度越深效果越差的现象

在这里插入图片描述
这个是由梯度消失导致的,靠近输入端的参数的梯度会很小,更新速度慢.
为什么会这样呢?可以从微分的定义角度来看这个问题:即自变量的微小改变对因变量的影响大小.
然后再结合sigmoid的特性,即实数域到(0,1)的映射.宏观来看是一种缩小,每sigmoid一次,就会缩小一次
那么自变量对因变量的影响,也自然而然的缩小
在这里插入图片描述

RELU函数-激活函数

为了避免上面那个sigmoid导致的问题,提出的新的激活函数,用于中间层激活
在这里插入图片描述
有个问题就是Relu不可微,这个要怎么解决?可以理解成只有在z=0的时候不可微,即大多数情况是可微分的,

激活函数也由学习得来:MaxOut - 自学习激活函数

最低0.47元/天 解锁文章
烫烫烫烫的若愚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅《深度学习》（四）
qq_41430142的博客
07-19 1198
人工智能的浪潮正在席卷全球，诸多词汇时刻萦绕在我们耳边：人工智能（Artificial Intelligence）、机器学习（Machine Learning）、深度学习（Deep Learning）。本文主要是对李宏毅课程内容进行笔记梳理，参考链接在文末已经给出。 6-深度学习简介 深度学习的三个步骤 Step1：神经网络（Neural network） Step2：模型评估（Goodness of function） Step3：选择最优函数（Pick best function） 神经网络 神经网
relu不可微为什么可用于深度学习
ningyanggege的博客
09-07 7296
首先确定relu数学上来讲不可微的，提供伪梯度使其可分，faux gradient是伪梯度，使得在0值不可分； 这里讲到了本质，反馈神经网络正常工作需要的条件就是每一个点提供一个方向，即导数；0值不可微，本质上来说是因为这个地方可画多条切线，但我们需要的只是一条；由于这出现的0值的概率极低，任意选择一个子梯度就OK了，在0处的次微分集合是【0，1】；即选择其中一个就OK了；一般默认是0；...
李宏毅深度学习——机器学习训练(一) 如何调整模型，过拟合处理
m0_58586235的博客
03-13 502
如何调整模型？ 有关过拟合 过拟合的一般描述 过拟合的处理方式： 1.更多的训练数据（限制模型的free程度） 2.数据图片进行合理化处理 3.对模型增加限制 但不可限制过多，否则容易变成model bias ...
神经网络反向求导不可导情况处理
RichardsZ_的博客
08-04 1590
1.激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 针对这种类型的激活函数，可以使用次梯度来解决。 次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。但是，由于它对不可导函数有很好的处理方法，所以学习它还是很有必要的。 对于rel
为什么Relu会导致死亡节点
u014296502的专栏
12-14 1万+
y代表真实值，y_代表预测值，损失函数采用交叉熵损失函数如下loss function：L(y,y_)=-(ylny_+(1-y)ln(1-y_))一般更新参数的方式，我们梯度下降的方式，目的是使得损失函数最小，达到一个能够接受的局部最小值，当然如果能到达全局最小最好。对损失函数的研究：当y=1,y_=1 L=-ln1=0 当y=1,y_=0 L=无穷大 当y=0,y_=1 L=无穷
[学习日志]深度学习-李宏毅 对抗模型
gjh1716718326的博客
01-28 921
对抗模型的意义 必然有人会对现存的模型发起攻击,比如那些发送广告邮件的人会攻击识别垃圾邮件的模型 因此模型需要有一定的能力去应对可能的恶意攻击 内容分为两部分:如何攻击\如何防御 如何攻击 攻击的目的就是在原本正确的模型上,给输入量加入一个人为制造的特殊变量,使得结果发生错误. 问题是如何找到这个认为制造的特殊变量呢? 无目标攻击 - 希望和正确答案越远越好 攻击和训练的区别在于,训练的时候x是固定的θ是更新改变的,攻击的时候x是更新改变的θ是固定的 有目标攻击 - 希望离正确越远且离错误答案越近越好
[学习日志]深度学习-李宏毅 迁移学习
gjh1716718326的博客
03-25 363
两种迁移 相同的任务，不同的领域 相同的领域，不同的任务 迁移学习的概念 所谓迁移学习，是很多种方法的集合。 你可以说某一种方法是迁移学习，或者不是。 这里根据源领域和目标领域的数据是否标注，可以大致分为四类： 源领域有标注，目标领域有标注 源领域无标注，目标领域有标注 源领域有标注，目标领域无标注 源领域无标注，目标领域无标注 源领域有标注，目标领域有标注 fine-tuning 一般而言源领域的标注数据量会比较大，目标领域的标注数据量会比较小。 （当目标领域的数据非常少的时候，可以说是在做OneS
[学习日志]深度学习-李宏毅 RNN 第二讲
gjh1716718326的博客
01-22 152
LSTM的训练过程 首先要保证训练集的顺序是有意义的(比如语义训练) 优化器也是用梯度下降,但是为了计算方便,发明了BP算法的进阶版本—BPTT 但是这里没有细讲，反正到时候都是直接调用的，大致和BP差不多 RNN的训练和一般网络不太一样，RNN的损失值对于参数的变化是非常陡峭的。 那么在训练时会有两种情况发生：踩在平原上 or 踩在悬崖上 踩在平原上，梯度很小，只能盲目Update，如果凑巧跨过悬崖的话Loss会剧烈变化 踩在悬崖上，梯度很大，很可能步子太大扯到蛋 那么要怎么解决这个问题呢？—Cl
Paddle实现迁移学习
三岁学编程的博客
04-14 1187
李宏毅老师第5次作业白话
Relu函数与Leaky Relu函数
xrinosvip的博客
09-20 6万+
ReLu函数   修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，...
深度学习——激活函数Sigmoid/Tanh/ReLU
热门推荐
zchang81的博客
04-18 8万+
一般情况下，使用ReLU会比较好 1、使用 ReLU，就要注意设置 learning rate，不要让网络训练过程中出现很多 “dead” 神经元； 2、如果“dead”无法解决，可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU； 3、不建议使用 sigmoid，如果一定要使用，也可以用 tanh来替代。
计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?
Mrrunsen的博客
09-08 2102
问题 ReLU函数在0处不可导，为什么在深度学习网络中还这么常用? 问题背景 这是在阿里的机器学习岗一面的时候问的一个问题，最开始的问题是“为什么机器学习中解决回归问题的时候一般使用平方损失（即均方误差）？”。 当时我的回答是损失函数是是模型预测值与真实值之间的一种距离度量，我们可以计算出每个样本的预测值与真实值之间的距离，全部加起来就得到了所谓的损失函数。而距离的度量可以采用预测值与真实值之间差的绝对值，或者两者之差的平方，当然更高次的也行，只要你喜欢。正如问题所述，为什么我们一般使用的是两者之差的平方而
神经网路的优化（1）----激活函数：梯度消失问题、ReLU、Maxout
liupc的学习笔记
04-16 994
一、sigmoid函数会导致梯度消失问题 点击此处返回总目录 二、ReLU激活函数 三、Maxout network 刚才我们说，在deep learning的rec...
ReLU函数的缺陷
qq_21763381的博客
02-06 4164
　ReLU激活功能并不完美。 它有一个被称为 “ReLU 死区” 的问题：在训练过程中，一些神经元会“死亡”，即它们停止输出 0 以外的任何东西。在某些情况下，你可能会发现你网络的一半神经元已经死亡，特别是使用大学习率时。 在训练期间，如果神经元的权重得到更新，使得神经元输入的加权和为负，则它将开始输出 0 。当这种情况发生时，由于当输入为负时，ReLU函数的梯度为0，神经元就只能输出0了。 　...
Relu的缺点
weixin_34216036的博客
05-25 1519
Relu不适合梯度过大的的输入 Relu是我们在训练网络时常用的激活函数之一（对我而言没有之一）。然而最近发现Relu太脆弱了，经常由于输入的函数梯度过大导致网络参数更新后，神经元不再有激活功能。特别是网络在训练刚开始的时候（如果在使用Focal loss,这种现象更容易发生）。 在这种情况下，或许softplus可以尝试一下。相关资料请移步softplus(softplus) 转载于:http...
神经网络之激活函数面面观
Leo的博客
01-27 3291
转载自： 【机器学习】神经网络之激活函数面面观 - 仙道菜 - 博客频道 - CSDN.NET http://blog.csdn.net/cyh_24/article/details/50593400 日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过好像忘了问自己一(n)件事： 为什么需要激活函数？激活函数都有哪些？都
卷积神经网络CNN的一些基础概念理解
TaylorMei的博客
08-17 582
Relu函数的导数计算 先从最简单的开始，Relu激活在高等数学上的定义为连续（局部）不可微的函数，它的公式为 Relu(x)= x, x>0 0, x≤0 其在x=0处是不可微的，但是在深度学习框架的代码中为了解决这个直接将其在x=0处的导数置为0或1，所以它的导数也就变为了 δRelu(x)= 1, x>0 0, x<=0 Pooling池化
修正的线性激活函数（Relu）如何避免梯度消失
翻滚的老鼠屎
01-15 6491
2019年的第一篇博客。主要译自Machine Learning Mastery，加上了一点点自己的想法。如有问题，欢迎批评指正~ 消失梯度问题是在训练深度神经网络时可能遇到的不稳定问题之一。它描述了深度多层前馈网络或循环神经网络无法将有用的梯度信息从模型的输出端传播回模型输入端附近的层的情况。其结果是，具有许多层的模型通常无法在给定的数据集上学习或过早地收敛到较差的解决方案。...
李宏毅深度学习入门：从基础到实践技巧
李宏毅教授的讲解不仅涵盖了深度学习的核心概念，还分享了训练深度神经网络的一些实用技巧，包括如何优化模型性能，以及如何处理深度学习中的过拟合和梯度消失等问题。他引用了Google的SIGMOD/Jeff Dean的研究，展示...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值