【深度学习】Dropout网络笔记

最新推荐文章于 2024-04-21 22:57:05 发布
最新推荐文章于 2024-04-21 22:57:05 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhc19940815/article/details/50907545
版权
本文探讨了深度学习中过拟合的问题，介绍了Dropout作为解决方案的原理和算法，包括训练时随机忽略节点，测试时调整权重。关键因素如节点数、学习速率和冲量项的选择，以及在不同层应用Dropout的策略。尽管 Dropout 的动机直观，但其理论依据仍有待深入研究，实践中已证实其有效性。
摘要由CSDN通过智能技术生成

深度学习网络中存在的一个常见问题是隐层层数与每层节点数，如果选得比较多，就意味着模型将包含大量的参数，这样一来模型很容易出现过拟合现象。

 

一个比较经典的解决方案是独立地训练许多网络，在网络的预测结果中取加权平均，权值由对应网络中权值相对于观测数据的后验概率分布确定（袋装思想）。但是由于各个网络是独立训练的，因此这样的训练成本与网络数目呈线性关系，对于深度学习这种单一模型都要进行长时间训练的模型来说，这样是很不划算的。

 

Hinton针对此提出了Dropout，其思想为每一轮训练时以一定概率随机忽略一部分隐层节点。其算法分为两部分：

  • 训练：每轮训练时，以某个概率p随机从网络中去除一部分节点。这部分节点不参与本轮迭代，忽略其输入、输出，并且不对这些节点进行更新。
  • 测试：所有节点均参与测试，但是对于每个节点，其输出权重将乘以概率p。

 

一些关键因素：

  • 隐层节点数：一般取普通最优网络节点数的1/p倍。
  • 学习速率：一般为普通神经网络的10-100倍。
  • 冲量项：在0.95-0.99之间。
  • 规范化方法使用Max-norm：在训练过程里，不使用传统的L2-norm，而为每个节点的L2-norm设置一个上限，若某一轮权值在更新后超过了这个上限，就对该节点的权值进行规范化（除以这个L2-norm的上限）。
  • P的取值：对于输入层节点与隐层节点，p的取值策略有所不同（通常在0.5~0.8之间ÿ
最低0.47元/天 解锁文章
杨枫HD
关注
专栏目录
深度学习中Dropout原理解析
Microstrong
06-19 31万+
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深度学习笔记之——Dropout
Just_do_myself的博客
12-02 2855
Dropout什么是Dropout为什么要用DropoutDropout工作原理Dropout如何达到正则化的效果dropout Python代码Reference 什么是Dropout Dropout是在神经网络中广泛应用的一种正则化技术，也可以称之为一个小Trick。由Hinton在其论文《Improving neural networks by preventing co-adaptatio...
深度学习网络大杀器之Dropout（II）——将丢弃学习视为集成学习之我见
weixin_34417200的博客
06-25 188
更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloud 关于dropout的分析，可以见博主的另外一篇文章： 《深度学习网络大杀器之Dropout——深入解析Dropout》 1.引言 随着2012年Hiton的文章《ImageNet classification with deep convolutional neur...
【深度学习】Dropout、DropPath
最新发布
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
04-21 2407
Dropout、DropPath概念、作用、代码
深度学习——Dropout的基本用法
XDXDXDXDX111的博客
09-28 3627
Dropout是一种在学习的过程中随机删除神经元的方法。训练时，随机选出隐藏层的神经元，然后将其删除。被删除的神经元不再进行信号的传递，如下图所示。训练时，每传递一次数据，就会随机选择要删除的神经元。然后，测试时，虽然会传递所有的神经元信号，但是对于各个神经元的输出， 要乘上训练时的删除比例后再输出。Dropout的核心思想是在训练神经网络时，随机地关闭一些神经元（或节点）它们以及与下一层神经元之间的连接。
吴恩达深度学习笔记.pdf
11-21
【吴恩达深度学习笔记】是一份针对吴恩达教授在Coursera平台上的深度学习课程的详尽笔记，旨在帮助已有一定编程基础和机器学习知识的计算机专业人士深入理解和应用深度学习技术。该课程分为5个部分，涵盖了深度学习...
深度学习基础笔记
04-28
最后，深度学习模型的优化策略包括学习率调度、正则化（L1、L2）、批量归一化（Batch Normalization）、dropout等，它们可以帮助避免过拟合，提高模型的泛化能力。 综上所述，深度学习是一个涵盖广泛领域的学科，从...
TensorFlow 深度学习笔记 从线性分类器到深度神经网络
06-20
深度学习笔记：从线性分类器到深度神经网络 本资源摘要信息将对 TensorFlow 深度学习笔记进行总结，从线性分类器到深度神经网络，涵盖了线性模型的限制、神经网络的基本概念、深度神经网络的优化方法等内容。 线性...
学界 | Hinton提出的经典防过拟合方法Dropout，只是SDR的特例
zenRRan的博客
09-05 340
选自arXiv作者：Noah Frazier-Logue、Stephen José Hanson机器之心编译参与：Geek AI、王淑婷转载请联系 机器之心Hinton 等人提出的 Dr...
dropout
aikudexue的博客
03-12 622
dropout有一个参数p，p的取值介于0和1，含义是每个节点有p概率被抛弃。 被抛弃对这个节点有什么影响呢？dropout对于节点的影响表现在，一旦某个节点被选定为抛弃的节点，那么对于神经网络的forward过程这个节点的输出就被置为0；对于backward过程，这个节点的权重和偏置不参与更新。也就是说，在某次迭代中，网络中有部分节点不参与这一次的训练，整个网络结构等效于下图右侧（左侧是drop...
【精读AI论文】dropout----(A Simple Way to Prevent Neural Networks from Overfitting)
深度不学习！！的博客
04-13 3263
文章目录前言摘要 (Abstract)引言 (Introduction)灵感来源 (Motivation)相关工作 (Related Work)dropout模型介绍(Model Description)训练过程 (Learning Dropout Nets) 前言 前两天看的那个hinton作者的dropout（笔记在这里），据说他是第一个提出dropout的人，今天看的这个论文是dropout里比较普遍熟知的论文。 题目： A Simple Way to Prevent Neural Networks
【论文精读】Dropout: A Simple Way to Prevent Neural Networks from Overfitting
qq_25011449的博客
07-26 9088
Dropout: A Simple Way to Prevent Neural Networks from Overfitting 原文链接：Dropout: A Simple Way to Prevent Neural Networks from Overfitting 来填坑了，上次读了《Deep Learning under Privileged Information Using He...
(10) [JMLR14] Dropout: A Simple Way to Prevent Neural Networks from Overfitting
gdtop的个人笔记
03-05 1536
计划完成深度学习入门的126篇论文第十篇，多伦多大学的Geoffrey Hinton·和Alex Krizhevsky使用一种新的regularization方法Dropout。 ABSTRACT&INTRODUCTION 摘要 具有大量参数的深度神经网络是非常强大的机器学习系统。然而，在这样的网络中，过拟合是一个严重的问题。大型网络的使用也很缓慢，通过在测试时结合许多不同的大型神经...
Dropout: A Simple Way to Prevent Neural Networks from Overfitting翻译
nopSled
07-25 1559
摘要 具有大量参数的深度神经网络是非常强大的机器学习系统。然而，过拟合是这种网络中存在的一个严重问题。大型网络使用起来也很慢，因此在测试时通过组合许多不同的大型神经网络的预测很难处理过拟合。Dropout是一种解决此问题的技术。关键思想是在训练期间从神经网络中随机丢弃单元（及其连接）。这可以防止单元具有太多的共适应（co-adapting）。在训练期间，从指数数量的不同“稀疏”网络中抽取样本。在测...
Dropout： A Simple Way to Prevent Neural Networks from Overfitting
qq_43152949的博客
09-14 415
摘要 在训练时随机的去掉一些神经元，这能防止神经元之间过度的共适应关系。这种方法显著的减少了过拟合，并对其他正则化方法进行了重大改进。dropout提高了神经网络在视觉、语音识别、文档分类和计算生物学等监督学习任务中的表现。 Introduce DNN的表达能力很好，能够学习到输入和输出之间很多复杂的关系，但在有限的训练数据中，很多复杂的关系会成为结果的噪声样本，因为这些噪声很可能存在于train...
Dropout:A Simple Way to Prevent Neural Networks from Overfitting
qq_25379821的博客
08-21 2144
这是一篇深度学习领域引用量目前达到1779的文章，在学习深度学习必读文章之列，下面理解下作者们的主要思想
译：《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》
huplion的专栏
01-30 3653
今天看了CS231n关于dropout部分的讲述，不是很清晰，拿来一篇关于Dropout的代表性文章来读一读，体会一下。 论文原文下载链接：Dropout: A Simple Way to Prevent Neural Networks from Overfitting 摘要 在具有大量参数的深度神经网络中，Overfitting是一个严重的问题。Dropout是解决这个问题的一种技巧。主
Dropout: A Simple Way to Prevent Neural Networks from Overtting(泛读)
小胜爱捣鼓
11-19 4228
一.文献名字和作者     Dropout: A Simple Way to Prevent Neural Networks from Overtting     二.阅读时间     2014年11月19日 三.文献的贡献点     这篇文章主要还是复述了一遍那篇引入dropout的文章《Improving neural networks by pre
深度学习TensorFlow实践：Dropout详解
"这篇TensorFlow笔记主要探讨了深度学习领域中的关键术语和概念，包括图像识别，特别是猫狗大战的应用。此外，它还介绍了asirra（一种动物特殊图像识别系统）和CAPTCHA（全自动公共图灵测试以区分计算机与人类），...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值