对Dropout的理解精简版

最新推荐文章于 2024-02-02 13:08:48 发布
最新推荐文章于 2024-02-02 13:08:48 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fu6543210/article/details/84302298
版权

今天第一次在别人的代码里面看到了dropout 这个功能，找了一下相关的资料大概理解了一些。论文地址

概念

dropout其实挺简单的，一句话说就是每次train的时候（test不会参与dropout），按照一定几率P随机丢弃一些feature或者Input（因为dropout所处的层不同，叫法不同）， 具体做法是把这一项feature设置成0，也不更新权重（不参与bp传播），其他过程不变。但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。
然后把剩下的1-p 没有丢弃的feature或者input 按照 1/P 的倍率放大。

动机

dropout是为了解决大网络但是小训练集的过拟合问题，但是可以一般性的避免过拟合。

这里总结一下我所知道的避免过拟合的方法

  • early stopping
  • L1 and L2 regularization
  • dropout

如何选择dropout 的概率

最低0.47元/天 解锁文章
furuit
关注
专栏目录
【ChatGPT】实用 Prompt 指令大全 —— 一文教你如何更好地挖掘 GPT 的价值
程序员光剑
04-15 2万+
ChatGPT 是由 OpenAI 开发的一种先进的大型语言生成模型，能够理解和生成准确、自然且连贯的文本。文本生成数据分析内容审核语义理解自然语言推理以及其他众多任务ChatGPT是一种基于GPT-3.5架构的大型语言模型，由OpenAI公司开发。该模型在自然语言处理领域有着广泛的应用，可以用于文本生成、文本分类、情感分析、问答系统等任务。本文将从模型的架构、训练方式、优缺点等方面对ChatGPT进行详细介绍。一、模型架构。
AI：230-YOLOv8与RT-DETR的完美结合 | 重塑目标检测技术的前沿【保姆级教程】
最新发布
一键难忘的博客
08-12 2447
YOLOv8 继承了 YOLO 系列的轻量化和高效性，通过优化网络架构和训练策略，实现了在主流数据集上的领先表现。然而，YOLOv8 的检测头仍采用经典的 anchor-based 设计，这在处理高密度或多尺度目标时可能存在局限性。RT-DETR 是最近提出的一种基于 Transformer 的目标检测模型，采用了一种全新的 anchor-free 设计，通过自注意力机制实现了高效的目标检测。RT-DETR 的检测头能够捕获更广泛的上下文信息，从而提高检测的准确性，尤其在处理小目标和复杂场景时表现突出。
用Dropout思想做特征选择，保证效果还兼顾了线上性能?
炼丹笔记
03-14 909
这篇论文《Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach》教会了我们如何做粗排模型兼顾模型的效率和效果.提出了可学习的特征选择方法FSCD,并在真实电商系统中应用.简介如上图(a)所示,受系统时延约束...
Dropout函数
dianxu5983的博客
06-18 2509
什么是dropout？ 在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。深度学习中在代码中经常碰到的dropout函数是指我们在训练神经网络的过程中，随机丢弃一部分神经网络单元，只是暂...
Dropout
u013087645的专栏
11-22 354
论文：https://arxiv.org/abs/1207.0580 博客代码：https://blog.csdn.net/l494926429/article/details/51943564   一个师兄在找工作面试过程中碰到手写dropout算法，写个博客学习并记录一下 Bagging基于自助采样算法：    给定包含m个样本的数据集D，我们对它进行采样产生数据集D’：每次随机从D...
Dropout（一）《Improving neural networks by preventing co-adaptation of feature detectors》
better_zoe_chang的博客
01-18 831
目录1、Why — Dropout提出原因(1) 特征之间具有共适应性(co- adaptation)(2) 对co- adaptation怎样理解2、How— 怎样去理解Dropout背后思想(1) 缓解过拟合(2) 集成方法——平均3、How—Dropout训练及预测设计插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowc
Dropout直观理解和实现方法
weixin_38224810的博客
03-12 511
概念 一种正则化方法 在训练过程中随机丢弃神经元节点和输入输出的连接 对于大小固定的模型，最好的正则化手段是对所有可能的参数集合做平均预测，根据训练数据的后验概率对每个集合做weighting。 对每层设置一个dropout probability 对每个batch随机决定一个神经元是否被移除 Inverse dropout当dropout在预测时被关闭时，用设置好的probability scale activtions 以保持总体的度量一致。 具体实现 定义mim^imi矩阵，纬度
dropout理解~简易理解
sharryling
03-12 1123
工作原理： 所谓的dropout，从字面意思理解，就是“抛弃”。 抛弃什么呢？抛弃的是网络中隐藏层的节点（输入层和输出层是由数据类型和问题类型决定的，当然不能动啦！）。 怎么抛弃呢？dropout有一个参数p，p的取值介于0和1，含义是每个节点有p概率被抛弃。 被抛弃对这个节点有什么影响呢？dropout对于节点的影响表现在，一旦某个节点被选定为抛弃的节点，那么对于神经网...
Dropout详解
woduitaodong2698的博客
04-08 3321
Dropout详解算法背景算法原理算法详解训练与测试反向传播 算法背景 过拟合的原因： 在使用深度学习算法进行预测时，为了训练出powerful的神经网络，通常需要设计带有大量参数的神经网络。 但若神经网络结构复杂，同时训练数据量小时，容易造成过拟合； 样本噪声 训练集与测试集特征分布不一致 迭代次数过多 常用解决过拟合现象的方法： 数据增强 dropout BN（使用BN后就不需要使用dr...
Keras中文版2.0
02-06
- **将Keras作为tensorflow的精简接口**：解释Keras为何成为TensorFlow的一个流行接口，以及它如何简化深度学习开发流程。 #### 致谢 最后，文档还特别感谢了所有为此项目贡献代码、文档、测试和支持的人们，这不仅...
最强开源模型 Mixtral-8x7B-Instruct-v0.1 详细介绍：稀疏 Mixtral of experts
程序员光剑
02-02 1207
同样，在推理过程中，假设每个令牌仅使用两名专家，推理速度 (FLOP) 就像使用 12B 模型（而不是 14B 模型），因为它计算 2x7B 矩阵乘法，但共享一些层。然后，输入的信息将以最高的概率发送给专家，确保最合适的专家处理手头的任务。C) 另请注意，虽然有推理服务，但实现了 FP8 实现，每个令牌运行 3 个专家（而不是默认的 2 个）——但激活更多专家是有害的，因为该模型经过训练只需要处理 3 个专家的贡献2个顶级的。它是最强大的开放权重模型，具有宽松的许可证，也是成本/性能权衡方面的最佳模型。
深度学习Dropout技术分析
吴建明wujianming_110117
06-09 916
深度学习Dropout技术分析 什么是Dropout？ dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。在下读到两篇代表性的论文，代表两种不同的观点，特此分享给大家。 从神经网络的难题出发，一步一步引出dropout为何有效的解释。大规模的神经网络有两个缺点： 1）费时 2
AlphaDropout
zhouying_12345的博客
11-23 1690
AlphaDropout AlphaDropout是一种保持 self-normalizing属性的Dropout。对于一个0均值和单位标准差的输入，AphaDropout的输出保持输入的均值和标准差不变。AlphaDropout和SELU激活函数一起使用，保证了输出是0均值和单位标准差。 训练过程中，AlphaDropout会以从伯努利分布中采样到的概率p使一些元素置零。每次前向调用过程中，保留的元素都是随机且会进行缩放和移位以保持0均值和单位标准差。 在评估过程中该模块都是仅仅计算一个恒等函.
分析 Dropout
比比的博客
08-01 671
摘要： 本文详细介绍了深度学习中dropout技巧的思想，分析了Dropout以及Inverted Dropout两个版本，另外将单个神经元与伯努利随机变量相联系让人耳目一新。 过拟合是深度神经网（DNN）中的一个常见问题：模型只学会在训练集上分类，这些年提出的许多过拟合问题的解决方案；其中dropout具有简单性并取得良好的结果： Dropout 上图为Dropout的可视化表示，左边...
dropout的理解
maria5201314的博客
02-17 339
在训练的时候，我们只需要按一定的概率（retaining probability）p 来对weight layer 的参数进行随机采样，将这个子网络作为此次更新的目标网络。可以想象，如果整个网络有n个参数，那么我们可用的子网络个数为 2^n 。 并且，当n很大时，每次迭代更新 使用的子网络基本上不会重复，从而避免了某一个网络被过分的拟合到训练集上 2^n：参数节点可以分为1或0；所有n个不同的节
AlphaDropout和selu的使用
qq_46244851的博客
11-01 2318
AlphaDropout（防止过拟合，一般放在最后几层）和selu（自带批归一化的激活函数,relu的进化版,批归一化，Batch Normalization，就是BN，一般用在线性层和卷积层后面) # tf.keras.models.Sequential() model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape=[28, 28])) for _ in range(20): model.add(ke
nn.Dropout(0.5), Dropout有什么功能，一般取值取多少！！
qlkaicx的博客
01-16 2773
所以实际应用中,Dropout率通常取0.2左右,这是一个比较好的折中值。它可以很好地防止过拟合,同时也不会明显影响模型的训练速度。一般情况下,Dropout率的取值范围是0-0.5之间。取值越大,dropout的效果越强,但也可能导致模型收敛速度变慢。它的作用是在训练过程中随机断开一些神经元,从而避免过拟合。0.1-0.3之间是经典的取值范围,可以很好地防止过拟合。小于0.1的取值效果不明显,可能没有起到正则化的作用。0.4-0.5的取值范围效果会更好,但训练也会更慢。
dropout学习整理
wangmengmeng99的博客
10-12 1907
dropout在训练过程中每次迭代都会得到一个新模型，最终结果是多个模型的融合，得到的只有一个模型，一组参数。 加入dropout后模型训练过程，都要计算概率，确定哪些神经元被丢弃，被丢弃的神经元输出变为0 。训练过程，神经元被丢弃的概率为（1-P），被保留下来的可能性为P；  测试过程，神经元一直都在，在测试阶段必须仿真出在训练阶段使用的网络集的行为，所以每个参数都要乘以...
CNN中dropout层的理解
05-31
+ i * size - size / 2, xOffset + j * size + size / 2, yOffset + i * size + size / 2); } } } EndPaint(hWnd, &ps); } break; case WM_LBUTTONDOWN: { int x = GET_X_LPARAM(lParam), y = GET_Y_LPARAM(lParam); int size = min(cxClient / 8, cyClient / 10); selX = (x - cxClient / 16) / size; selY = (y - cyClient / 20) / size; InvalidateRect(hWnd, NULL, FALSE); } break; case WM_DESTROY: DeleteObject(hBrushBk); DeleteObject(hBrushBoard); DeleteObject(hBrushPiece); DeleteObject(hPenBoard); DeleteObject(hPenSelected); PostQuitMessage(0); break; default: return DefWindowProc(hWnd, message, wParam, lParam); } return 0; } ``` 这个代码主要实现了一个简单的窗口程序，用GDI绘制了一个棋盘和棋子，并且支持鼠标选择棋子。需要注意的是，这个代码只是一个示例，实际开发中需要根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值