Dropout是一种正则化技术，通过随机删除神经网络中的单元来防止过拟合。它类似于L2正则化，但应用方式不同，对不同权重的压缩效果也略有区别。在实施dropout时，可以调整每一层的保留概率（keep-prob），以针对不同层的过拟合程度进行优化。在计算机视觉等领域，dropout由于其防止过拟合的效果，经常被广泛使用。
理解 dropout（Understanding Dropout）
Dropout可以随机删除网络中的神经单元，他为什么可以通过正则化发挥如此大的作用呢？
直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效果，和之前讲的L2正则化类似；
实施dropout的结果实它会压缩权重，并完成一些预防过拟合的外层正则化；L2对不同权重的衰减是不同的，它取决于激活函数倍增的大小。
总结一下，dropout的功能类似于L2正则化，与L2正则化不同的是应用方式不同会带来一点点小变化，甚至更适用于不同的输入范围。
第二个直观认识是，我们从单个神经元入手，如图，这个单元的工作就是输入并生成一些有意义的输出。
通过dropout，该单元的输入几乎被消除，有时这两个单元会被删除，有时会删除其它单元，就是说，用紫色圈起来的这个单元，它不能依靠任何特征，因为特征都有可能被随机清除，或者说该单元的输入也都可能被随机清除。
但我不愿意把所有赌注都放在一个节点上，不愿意给任何一个输入加上太多权重，因为它可能会被删除，因此该单元将通过这种方式积极地传播开ÿ
最低0.47元/天 解锁文章
扫一扫
747
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
