dropout的理解和笔记

已于 2022-03-15 22:12:45 修改
阅读量315 收藏
点赞数 1
文章标签： 深度学习 机器学习 人工智能
于 2022-03-15 21:46:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fyfdf/article/details/123512973
版权
Dropout是一种正则化技术，通过在训练过程中随机关闭部分神经元来防止过拟合。它破坏了神经元间的联合适应性，促进网络学习更多内部特征，从而增强模型的泛化性能。这一机制类似自然界中通过有性繁殖打破基因连续性，增加生物适应性。
摘要由CSDN通过智能技术生成

1.drop是为了避免模型过拟合而提出来的，dropout的神经元对下游神经元不做贡献，反向传播史对应的权重也不更新。举个例子，自然界无性繁殖保留的大段的连续基因，有性繁殖将基因进行拆了又拆破坏了基因的联合适应性，但是自然界选择了有性繁殖说明其更强，同样的道理dropout一部分神经元后，破坏其联合适应性，迫使其他神经元去介入代替缺失的神经元的那部分特征。普遍认为这种网络模型会得到更多的内部特征因此提升了模型的泛化能力，不容易对训练数据过拟合。

关键字： 正则化 联合适应性 随机挑选 泛化能力 特定权重

风扬642
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文笔记】Neighboring Region Dropout for HIC
immortal的小屋
06-08 282
M. E. Paoletti, J. M. Haut, J. Plaza and A. Plaza, “Neighboring Region Dropout for Hyperspectral Image Classification,” in IEEE Geoscience and Remote Sensing Letters, vol. 17, no. 6, pp. 1032-1036, June 2020, doi: 10.1109/LGRS.2019.2940467. Paoletti M E ,.
【图像超分】论文精读：Navigating Beyond Dropout: An Intriguing Solution Towards Generalizable Image Super Resol
畅游计算机视觉的海洋
05-28 715
近年来，深度学习在单图像超分辨率 (SISR) 性能方面取得了巨大飞跃。虽然大多数现有的工作假设一个简单而固定的退化模型(如双三次下采样)，但盲SR的研究试图提高模型泛化能力，退化未知。最近，Kong等人[37]利用Dropout[63]研究了更合适的盲SR训练策略。尽管这种方法确实通过减轻过度拟合带来了实质性的改进，但我们认为 Dropout 同时引入了不希望的副作用，这损害了模型忠实地重建精细细节的能力。我们在本文中展示了理论和实验分析，此外，我们提出了另一种简单而有效的训练策略，通过简单地调制模型的一
Dropout原理及作用
热门推荐
Mike_honor的博客
07-21 2万+
Dropout是作为缓解卷积神经网络CNN过拟合而被提出的一种正则化方法，它确实能够有效缓解过拟合现象的发生，但是Dropout带来的缺点就是可能会减缓模型收敛的速度，因为每次迭代只有一部分参数更新，可能导致梯度下降变慢。.........
Dropout、剪枝、正则化有什么关系？什么是Dropout？
aclearboy唐三
07-20 3191
Dropout、剪枝、正则化有什么关系？{\color{Red}Dropout、剪枝、正则化有什么关系？}Dropout、剪枝、正则化有什么关系？ 文章目录Dropout、剪枝、正则化有什么关系？{\color{Red}Dropout、剪枝、正则化有什么关系？}Dropout、剪枝、正则化有什么关系？前言1.Dropout、正则化2.1.引入库2.读入数据总结 前言 上次有同学聊天时聊起Dropout和剪枝有什么区别，似乎并没有什么不同？ 我想了一下，做出了一下思考：首先Dropout和pruning都属
dropout层_Dropout的那些事
weixin_39637260的博客
11-28 3058
关注微信公众号：人工智能前沿讲习重磅干货，第一时间送达前言今天在整理卷积神经网络的一些常用结构如，Batch Normalization，Dropout时突然想到，好像Dropout在最近几年的卷积神经网络中并不常见，于是就产生了一个问题：什么时候用Dropout，什么时候不该用。经过大半天的搜索、分析、归纳，现在我就来谈谈目前大家讨论的一些点和网上一些不正确的观点，最后再做个总结。Dropout...
dropout理解~简易理解
sharryling
03-12 1118
工作原理： 所谓的dropout，从字面意思理解，就是“抛弃”。 抛弃什么呢？抛弃的是网络中隐藏层的节点（输入层和输出层是由数据类型和问题类型决定的，当然不能动啦！）。 怎么抛弃呢？dropout有一个参数p，p的取值介于0和1，含义是每个节点有p概率被抛弃。 被抛弃对这个节点有什么影响呢？dropout对于节点的影响表现在，一旦某个节点被选定为抛弃的节点，那么对于神经网...
Dropout详解
woduitaodong2698的博客
04-08 3306
Dropout详解算法背景算法原理算法详解训练与测试反向传播 算法背景 过拟合的原因： 在使用深度学习算法进行预测时，为了训练出powerful的神经网络，通常需要设计带有大量参数的神经网络。 但若神经网络结构复杂，同时训练数据量小时，容易造成过拟合； 样本噪声 训练集与测试集特征分布不一致 迭代次数过多 常用解决过拟合现象的方法： 数据增强 dropout BN（使用BN后就不需要使用dr...
PyTorch笔记 - Dropout: A Simple Way to Prevent Neural Networks from Overfitting
Mystra
07-13 369
面试：torch.nn的模块，包含很多layer，神经网络是核心模块，都是torch.nn的组合结合torch.nn源码，理解不同的API，同时包括经典论文Dropout Layers，除此之外，以函数的形式的dropout，torch.nn.functional.dropout torch.nn.functional.dropout 函数dropout中，有training参数，training控制是否需要使用dropoutdropout论文：Dropout: A Simple Way to Prev
CS231n课程笔记6.2：神经网络训练技巧之Ensemble、Dropout
silent56_th的博客
03-12 3058
CS231n简介详见 CS231n课程笔记1：Introduction。 注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。1. EnsembleKarpathy表示：只要使用Ensemble，就可以得到2%的提升。 Ensemble就是训练多个模型，最后把各个模型的结果取均值。 详情请参考 Hinton Neural Network课程笔记10a：融合模型Ensemble, B
【图像超分】论文精读：Reflash Dropout in Image Super-Resolution（RDSR）
畅游计算机视觉的海洋
05-28 107
Dropout 旨在缓解高级视觉任务中的过拟合问题，但很少应用于低级视觉任务，例如图像超分辨率 (SR)。作为经典的回归问题，SR 表现出与高级任务不同的行为，并且对 dropout 操作很敏感。然而，在本文中，我们表明适当使用 dropout 有利于 SR 网络并提高泛化能力。具体来说，dropout 更好地嵌入到网络的末尾，并且对多重退化设置有很大帮助。这一发现打破了我们的常识，启发我们探索其工作机制。我们进一步使用两个分析工具——一个来自最近的网络解释工作，另一个是专门为此任务设计的。
AI自动采集教学行为——用AI来做机器学习部分和深度学习部分（含torch和cuda）包含机器学习模型和bert模型的使用
东方
08-30 174
这个错误是由于 .whl 文件名中的空格导致的。Python 的 pip 工具不允许 .whl 文件名中包含空格。python 机器学习文本分类，读取合并后的excel，‘句子’列是输入，‘标注’列是输出，怎么写代码需要什么库 要最简单的。重命名文件：将 .whl 文件名中的空格替换为下划线 _ 或直接删除空格。提取“句子”列，‘标注’列和‘上下文情境’这三列。按顺序把excel中的这三列拼接在一起。本来走的是autodl的设备，合并输出成一个xlsx文件。之后会报错，需要重命名。要遍历当前文件夹下从。
深度学习中的PyTorch Tensor详解
SWZ156的博客
08-27 776
PyTorch 中的 Tensor 是深度学习模型的核心数据结构。通过本文，你应该对张量的创建、属性、基本操作以及如何在深度学习中应用有了更深入的了解。在实践中，你会发现 PyTorch 提供了非常丰富的功能，助力你构建和优化神经网络模型。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 573
本次课将使用下列数据集：关于电影评价的数据集。
【深度学习与NLP】——深度卷积神经网络AlexNet
lingxw的博客
08-27 1005
AlexNet 的出现极大地推动了深度学习在计算机视觉领域的发展。它证明了深度神经网络在图像识别等任务上的强大能力，为后续的研究提供了重要的参考和启示。此后，各种深度神经网络架构不断涌现，性能也不断提升。总之，AlexNet 是深度学习发展历程中的一个重要里程碑，它的创新之处和优异性能对计算机视觉领域产生了深远的影响。
机器学习概述与应用：深度学习、人工智能与经典学习方法
loveting99的博客
08-27 1401
机器学习是一门让计算机能够在没有明确编程的情况下“学习”的科学。它利用统计学、数据分析和优化方法，从数据中提取模式或规律，并根据这些模式做出预测或决策。机器学习的核心步骤包括数据收集、数据预处理、模型选择、模型训练、模型评估与优化。
【王树森】RNN模型与NLP应用(1/9)：数据处理基础（个人向笔记）
hxdxiaoming的博客
08-29 161
为什么国籍要用One-Hot编码而不是直接用数字编码更节省存储空间？
【学习笔记】第三章深度学习基础——Datawhale X李宏毅苹果书 AI夏令营
MoyiTech
08-27 538
梯度为0的点我们统称为临界点，包括局部极小值、鞍点等局部极小值和鞍点的梯度都为0，那如何判断呢？先请出我们损失函数：L(θ)，θ是模型中的参数的取值，是一个向量。由于网络的复杂性，我们无法直接写出损失函数，不过我们可以写出损失函数的近似取值。根据宋浩老师所讲的大学一年级高等数学的知识，我们可以通过三阶泰勒展开对损失函数在θ附近的取值进行近似：其中，θ是模型中的参数的取值，θ’是在θ附近的取值。H是海森矩阵，Hij​是L对θi​和θj​的二阶偏导数。
深度学习100问22:什么是RNN训练过程中的反向传播算法
yyq916的博客
08-30 164
有了这些梯度，小朋友就知道该怎么调整自己的“思考方式”了（更新网络的权重和偏置）。比如，如果发现某个线索（参数）对错误的影响很大，那就多调整一下这个线索的用法。在这个过程中，小朋友会计算出每个步骤对最终错误的“贡献”有多大，也就是计算损失函数对每个参数的梯度。想象一下，RNN 就像是一个在学习猜谜语的小朋友。反向传播呢，就是这个小朋友发现自己猜错了之后，想办法找出自己哪里错了并且改正的过程。总的来说，反向传播就是 RNN 自我改进的一种方法，通过从错误中学习，不断调整自己，变得越来越厉害。
小白学深度学习：知识蒸馏研究综述
最新发布
gangyikeji的博客
08-30 424
知识蒸馏是一种教师-学生(Teacher-Student)训练结构，通常是已训练好的教师模型提供知识，学生模型通过蒸馏训练来获取教师的知识。它可以以 轻微的性能损失为代价将复杂教师模型的知识迁移到简单的学生模型中。知识蒸馏与迁移学习思想较为相似，然而它们有以下四点的不同：知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移。知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其它领域的数据知识。
吴恩达深度学习课程笔记：从基础到优化策略【KCBJ-SDXX-WED】
"这是一份基于吴恩达的深度学习课程的笔记，编号为KCBJ-SDXX-WED-005...这份笔记为学习者提供了一个全面的深度学习基础知识框架，从理论到实践，从基础模型到高级优化技术，为深入理解和应用深度学习打下了坚实的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值