论文笔记 | Improving neural networks by preventing co-adaptation of feature detectors

最新推荐文章于 2023-01-10 10:36:33 发布
最新推荐文章于 2023-01-10 10:36:33 发布
阅读量4.6k 收藏 5
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bea_tree/article/details/51870132
版权

Authors

G. E. Hinton , N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov
这里写图片描述
Hinton

Abstract

训练时随机忽略一半的feature detectors 能够防止因训练集太小带来的过拟合问题。这能够防止一些detectors联合在一起才起作用的情况，每个神经元预测一个特征有利于提高准确率，这种dropout的方法能提高很多benchmark的成绩。

Dropout每一个单元都以0.5的概率被忽略，所以使得神经元们不能相互依赖另外一个角度：模型平均（融合），相当于权重共享的模型的平均。

使用标准的随机梯度下降法，但是修改了loss的惩罚项，将L2设定为只有upper bound L2，只有当超过upper bound的时候才被惩罚，也就是约束代替了惩罚，使得可以以较大的learning rate，也就增大了搜索空间。

测试的时候使用了“mean network”结果取1/2，相当于很多很多的网络的平均，结果比用dropout之后再平均的结果要好。

一般来说提高训练效果的措施：
1. 使用transformed image
2. wiring knowledge about s

最低0.47元/天 解锁文章
bea_tree
关注
专栏目录
Improving neural networks by preventing co-adaptation of feature detectors(经典文章阅读)
小胜爱捣鼓
11-17 3555
一.文献名字和作者     Improving neural networks by preventing co-adaptation of feature detectors， G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov     二.阅读时间     2014年1
【论文笔记】Improving neural networks by preventing co-adaptation of feature detectors
yuexiaomao的博客
12-29 1469
多伦多大学计算机科学系12年的一篇文章，大量实验讨论了dropout的效果和直观解释了为什么dropout这么强大。 为什么强大？主要是参数独立训练，大量网络共享参数但是相当于独立训练出来的，参数之间只是部分协同工作而不是整个网络的参数协同，特征计算时不会因为输入有微小变化出现整体性能变特别差，因此泛化性会比全部协同工作的网络强。另外dropout也相当于bagging、贝叶斯平均方法，当然效果好了。 当一个大的前向神经网络在一个小的训练集上训练时，它通常在测试数据上表现不佳。通过在每个训练..
文献阅读：Improving neural networks by preventing co-adaptation of feature detectors
weixin_43917596的博客
05-05 1027
当一个深度反向传播神经网络在小的训练集上训练时，通常会在所提供的测试数据项中表现得很差。这种现象被称之为“过拟合”，这种“过拟合”可以通过在每个训练案例上随机省略一半的特征检测器而大大减小。从而阻止了复杂的共适应，其中特征检测器只在其他几个特定的特征检测器的环境中起到作用。相反地，每一个神经元学习如何去检测特征的过程，通常有助于得出正确答案，因为它必须在相结合着的且庞大的内部环境中去进行操作。随机“dropout”在许多基准测试以及为语音、目标识别设置新记录等方面都给予了成效有佳的改进。
Improving neural networks by preventing co-adaptation of feature detectors （译文）
XueShanFuChuLe的专栏
09-01 862
F Convolutional Neural Networks 其次，在CNN的神经元适用的过滤器，只在局部范围内和那些在形态组织上集中的神经元位置。这是合理的，对于数据集，在自然图像的像素情况下，我们期望输入尺寸的依赖性是距离的递减函数。特别是，我们预计有用的线索，以输入图像对象的身份可以通过检查图像的小的局部邻域找到。第三，在组的所有神经元应用相同的过滤器，但作为刚刚提到的，它们适用于它在输
Improving neural networks by preventing co-adaptation of feature detectors
04-11
Hinton在2012年提出的Improving neural networks by preventing co-adaptation of feature detectors也就是dropout,常用于防止训练过拟合,主要是通过随机选择一部分神经元训练,而直接丢弃其他神经元.
（AlexNet）ImageNet Classification with Deep Convolutional Neural Networks阅读笔记
chenaxin的博客
05-30 364
基于深度卷积神经网络的ImageNet分类 论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks   原作者训练了一个大型的深度卷积神经网络，将ImageNet lsvprc -2010竞赛中的120万张高分辨率图像分类到1000个不同的类中。在测试数据上，获得了前1名和前5名的错误率，分别为37.5%和17.0%，大大优于之前的水平。该神经网络有6000万个
Dropout（一）《Improving neural networks by preventing co-adaptation of feature detectors》
better_zoe_chang的博客
01-18 834
目录1、Why — Dropout提出原因(1) 特征之间具有共适应性(co- adaptation)(2) 对co- adaptation怎样理解2、How— 怎样去理解Dropout背后思想(1) 缓解过拟合(2) 集成方法——平均3、How—Dropout训练及预测设计插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowc
Deep Learning读书笔记（六）：Improving neural networks by preventing co-adaptation of feature detectors
tuqinag的专栏
10-18 2322
本篇博客所要讨论的
论文笔记(1)-Dropout-Improving neural networks by preventing co-adaptation of feature detectors
weixin_33755557的博客
01-27 102
    Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的，从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明，只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分 1、为了防止overfitting，使用dr...
Deep learing 论文合集，一条小白到发论文的必须道路！
12-09
不管你想做什么，你都要好好的从论文看，而不是单纯的调论文写代码！通过这些学习，你才能真正的对深度学习的发展，模型的优化，进经典的trick有深入的理解！ 做算法，做科研必不可少！时间有限的人可以只看1.3 2.1 2.2 ！（强烈推荐！） ## 1.3 ImageNet Evolution（Deep Learning broke out from here） **[4]** Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "**Imagenet classification with deep convolutional neural networks**." Advances in neural information processing systems. 2012. [[pdf]](http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf) **(AlexNet, Deep Learning Breakthrough)** :star::star::star::star::star: **[5]** Simonyan, Karen, and Andrew Zisserman. "**Very deep convolutional networks for large-scale image recognition**." arXiv preprint arXiv:1409.1556 (2014). [[pdf]](https://arxiv.org/pdf/1409.1556.pdf) **(VGGNet,Neural Networks become very deep!)** :star::star::star: **[6]** Szegedy, Christian, et al. "**Going deeper with convolutions**." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. [[pdf]](http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf) **(GoogLeNet)** :star::star::star: **[7]** He, Kaiming, et al. "**Deep residual learning for image recognition**." arXiv preprint arXiv:1512.03385 (2015). [[pdf]](https://arxiv.org/pdf/1512.03385.pdf) **(ResNet,Very very deep networks, CVPR best paper)** :star::star::star::star::star: #2 Deep Learning Method ## 2.1 Model **[14]** Hinton, Geoffrey E., et al. "**Improving neural networks by preventing co-adaptation of feature detectors**." arXiv preprint arXiv:1207.0580 (2012). [[pdf]](https://arxiv.org/pdf/1207.0580.pdf) **(Dropout)** :star::star::star: **[15]** Srivastava, Nitish, et al. "**Dropout: a simple way to prevent neural networks from overfitting**." Journal of Machine Learning Research 15.1 (2014): 1929-1958. [[pdf]](https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf) :star::star::star: **[16]** Ioffe, Sergey, and Christian Szegedy. "**Batch normalization: Accelerating deep network training by reducing internal covariate shift**." arXiv preprint arXiv:1502.03167 (2015). [[pdf]](http://arxiv.org/pdf/1502.03167) **(An outstanding Work in 2015)** :star::star::star::star: **[17]** Ba, Jimmy Lei, Jamie Ryan Kiros, and Geoffrey E. Hinton. "**Layer normalization**." arXiv preprint arXiv:1607.06450 (2016). [[pdf]](https://arxiv.org/pdf/1607.06450.pdf?utm_source=sciontist.com&utm_medium=refer&utm_campaign=promote) **(Update of Batch Normalization)** :star::star::star::star: **[18]** Courbariaux, Matthieu, et al. "**Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to+ 1 or−1**." [[pdf]](https://pdfs.semanticscholar.org/f832/b16cb367802609d91d400085eb87d630212a.pdf) **(New Model,Fast)** :star::star::star: **[19]** Jaderberg, Max, et al. "**Decoupled neural interfaces using synthetic gradients**." arXiv preprint arXiv:1608.05343 (2016). [[pdf]](https://arxiv.org/pdf/1608.05343) **(Innovation of Training Method,Amazing Work)** :star::star::star::star::star: **[20]** Chen, Tianqi, Ian Goodfellow, and Jonathon Shlens. "Net2net: Accelerating learning via knowledge transfer." arXiv preprint arXiv:1511.05641 (2015). [[pdf]](https://arxiv.org/abs/1511.05641) **(Modify previously trained network to reduce training epochs)** :star::star::star: **[21]** Wei, Tao, et al. "Network Morphism." arXiv preprint arXiv:1603.01670 (2016). [[pdf]](https://arxiv.org/abs/1603.01670) **(Modify previously trained network to reduce training epochs)** :star::star::star: ## 2.2 Optimization **[22]** Sutskever, Ilya, et al. "**On the importance of initialization and momentum in deep learning**." ICML (3) 28 (2013): 1139-1147. [[pdf]](http://www.jmlr.org/proceedings/papers/v28/sutskever13.pdf) **(Momentum optimizer)** :star::star: **[23]** Kingma, Diederik, and Jimmy Ba. "**Adam: A method for stochastic optimization**." arXiv preprint arXiv:1412.6980 (2014). [[pdf]](http://arxiv.org/pdf/1412.6980) **(Maybe used most often currently)** :star::star::star: **[24]** Andrychowicz, Marcin, et al. "**Learning to learn by gradient descent by gradient descent**." arXiv preprint arXiv:1606.04474 (2016). [[pdf]](https://arxiv.org/pdf/1606.04474) **(Neural Optimizer,Amazing Work)** :star::star::star::star::star: **[25]** Han, Song, Huizi Mao, and William J. Dally. "**Deep compression: Compressing deep neural network with pruning, trained quantization and huffman coding**." CoRR, abs/1510.00149 2 (2015). [[pdf]](https://pdfs.semanticscholar.org/5b6c/9dda1d88095fa4aac1507348e498a1f2e863.pdf) **(ICLR best paper, new direction to make NN running fast,DeePhi Tech Startup)** :star::star::star::star::star: **[26]** Iandola, Forrest N., et al. "**SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1MB model size**." arXiv preprint arXiv:1602.07360 (2016). [[pdf]](http://arxiv.org/pdf/1602.07360) **(Also a new direction to optimize NN,DeePhi Tech Startup)** :star::star::star::star:
Deep Learning 23：dropout理解_之读论文“Improving neural networks by preventing co-adaptation of feature det...
weixin_30690833的博客
09-13 153
理论知识：Deep learning：四十一(Dropout简单理解)、深度学习（二十二）Dropout浅层理解与实现、“Improving neural networks by preventing co-adaptation of feature detectors” 感觉没什么好说的了，该说的在引用的这两篇博客里已经说得很清楚了，直接做试验吧 注意： 1.在模型的测试阶段，使用...
【精读AI论文】dropout----(Improving neural networks by preventing co-adaptation of feature detectors)
深度不学习！！的博客
04-10 4947
文章目录前言第一页：第一段：第二段：第二页第一段第二段第三段第3-6页思考与总结dropout丢弃的是权重还是输出？dropout的正确性以及随机丢弃对结果的影响？dropout丢弃的是前一层还是后一层？总结 论文下载地址:点我下载 有很多dropout的文章，我选了两个比较知名的。 一个是dropout提出的论文:《Improving neural networks by preventing co-adaptation of feature detectors》 还有一个是比较知名的dropout论文:
论文笔记-Improving neural networks by preventing co-adaptation of feature detectors
01-27 190
Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的，从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明，只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分 1、为了防止overfitting，使用drop
论文阅读（Improving neural networks by preventing co-adaptation of feature detectors ）
m0_52414727的博客
02-28 222
显然看不懂英文然后出于各种原因最终被迫搜索了翻译版本，如有错误欢迎指出 介绍主体： DropOut 目的： 对战过拟合的基础上提升速度和学习能力（力速双A✔） 思路： 通过在每个训练案例上随机省略一般的特征检测器而减小过拟合率。每一个神经元去学习如何检测特征更有助于得出正确答案。 具体实现： 每个训练案例的每个呈现上，每个隐藏单元被随机地从网络中以0.5的概率省略。 在测试过程中，每一个隐藏层的神经元都能保持激活，但是，必须将输出值乘以0.5，这是因为在测试的过程中，相比于训练过程，增加了一倍的神经元数目
Improving neural networks by preventing co-adaptation of feature detectors阅读
Zhaohui1995_Yang的专栏
05-13 808
没有pretraining的情况下，首先训练的时候的更新是采用设置一个bound，如果接触了bound，那么久开始正则化其值。其实这个事比较好的一种方法，感觉，但是bound难以动态调整。因为对于去权重的学习，其实是和训练样本有很大关系的，之所以正则化，就是不希望对于某些变化特别大的点过于敏感，所以学习整体分布，但是人人都收税，似乎不太好，采用能者多劳的方式进行收税感觉会更好一些，L2是能者多劳，
Pytorch 暂退法（Dropout）
caixiaobaideye的博客
01-10 927
在2014年，斯里瓦斯塔瓦等人 () 就如何将毕晓普的想法应用于网络的内部层提出了一个想法： 在训练过程中，他们建议在计算后续层之前向网络的每一层注入噪声。因为当训练一个有多层的深层网络时，注入噪声只会在输入-输出映射上增强平滑性。这个想法被称为暂退法（dropout）。
经典网络-ResNet论文及实践
uncle_ll的博客
04-19 8150
Deep Residual Learning for Image Recognition 深度残差网络的图像识别 作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun 单位：微软研究院 文章地址：https://arxiv.org/abs/1512.03385 项目地址：https://github.com/KaimingHe/deep-residual-networks 摘要 更深的神经网络更难训练。本文提出了一种残差学习框架来减轻网
improving convolutional networks with self-calibrated convolutions
最新发布
03-16
自校准卷积是一种改进卷积神经网络的方法。它通过在卷积层中引入自适应的权重调整机制，使得网络能够更好地适应不同的输入数据。这种方法可以提高网络的准确性和鲁棒性，特别是在处理复杂的图像数据时效果更为显著。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值