本文介绍了深度学习中的Dropout技术，作为正则化的替代手段，Dropout可以随机删除神经元以防止过拟合。内容涵盖单个神经元及全网络的Dropout实现，以及如何通过调整不同层的保留概率来优化正则化效果。同时，分享了在计算机视觉领域应用Dropout的经验，并指出在调试时关闭Dropout以检查代价函数的下降情况。
1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai
1.7 理解 Dropout Why does drop out work?
Dropout可以随机删除网络中的神经单元，他为什么可以通过正则化发挥如此大的作用呢？
上一节课已经介绍过，Dropout可以随机删除网络中的神经单元，每次迭代后，NN都比以前更小。采用一个较小的NN和使用正则化的效果是一样的。
1.单个神经元实施Dropout
我们从单个神经元入手。
如上图，这个单元的工作就是输入并生成一些有意义的输出。
现在通过dropout，该单元的输入几乎被消除，有时这两个单元会被删除，有时会删除其它单元。
也就是说，上图中中间的单元，它不能依靠任何特征，因为特征都有可能被随机清除，或者说该单元的输入都可能被随机清除。
我不愿意把所有赌注都放在一个节点上，不愿意给任何一个输入加上太多权重，因为它可能会被删除。因此该单元将通过这种方式积极地传播开&#
最低0.47元/天 解锁文章
扫一扫
383
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
