深度学习基础笔记——Dropout系列问题

最新推荐文章于 2022-03-17 10:00:06 发布

MengYa_DreamZ

最新推荐文章于 2022-03-17 10:00:06 发布

阅读量463

点赞数 1

分类专栏：【深度学习笔记】文章标签：深度学习

原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/119604015

版权

【深度学习笔记】专栏收录该内容

20 篇文章 14 订阅

订阅专栏

相关申明及相关参考：

体系学习地址主要学习笔记地址

由于是文章阅读整合，依据个人情况标注排版，

不确定算不算转载，主要学习围绕AI浩的五万字总结,深度学习基础
如有侵权，请联系删除。

1 正则化意义

深度学习可能存在过拟合问题——高方差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，有两个解决方法：一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。

2 正则化——预防过拟合优势

3 dropout正则化概念

Dropout可以随机删除网络中的神经单元，它为什么可以通过正则化发挥如此大的作用呢？

直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效果，和之前讲的L2正则化类似；实施dropout的结果是它会压缩权重，并完成一些预防过拟合的外层正则化；L2对不同权重的衰减是不同的，它取决于激活函数倍增的大小。

4 dropout率的选择

经过交叉验证，隐含节点 dropout 率等于 0.5 的时候效果最好，原因是 0.5 的时候 dropout 随机生成的网络结构最多。
dropout 也可以被用作一种添加噪声的方法，直接对 input 进行操作。输入层设为更接近 1 的数，使得输入变化不会太大（0.8）。
对参数w的训练进行球形限制 (max-normalization)，对 dropout 的训练非常有用。
球形半径c是一个需要调整的参数，可以使用验证集进行参数调优。
dropout 自己虽然也很牛，但是 dropout、max-normalization、large decaying learning rates and high momentum 组合起来效果更好，比如 max-norm regularization 就可以防止大的learning rate 导致的参数 blow up。
使用 pretraining 方法也可以帮助 dropout 训练参数，在使用 dropout 时，要将所有参数都乘以1/p。

5 dropout的缺点

dropout最大缺点就是代价函数J不再被明确定义，每次迭代，都会随机移除一些节点，如果再三检查梯度下降的性能，实际上是很难进行复查的。定义明确的代价函数J每次迭代后都会下降，因为所优化的代价函数J实际上并没有明确定义，或者说在某种程度上很难计算，所以我们失去了调试工具来绘制这样的图片。

【建议】

通常会关闭dropout函数，将keep-prob的值设为1，运行代码，确保J函数单调递减。然后打开dropout函数，希望在dropout过程中，代码并未引入bug。
也可以尝试其它方法，虽然没有关于这些方法性能的数据统计，但可以把它们与dropout方法一起使用。