神经网络中的Dropout

柠檬汽水要加冰

已于 2022-10-15 20:15:02 修改

阅读量5.8k

点赞数 4

文章标签：神经网络深度学习机器学习

于 2022-10-15 20:14:35 首次发布

本文链接：https://blog.csdn.net/qq_56422229/article/details/127339737

版权

神经网络中的Dropout

在神经网络中，dropout层是一种减少过拟合的常用方法。

1. dropout解决了什么问题？

在深度神经网络中通常有各种不同的网络结构，有的是浅层的，有的是深层的网络结构。但是在努力追求从数据集中学习出不同的特征的同时神经网络也从数据集中学到了噪声。这就造成了网络在训练集上的性能好，但是在新的数据(测试集)上的性能不好，这种现象就是过拟合现象。为了解决过拟合问题，我们使用了各种正则化技术来惩罚网络的权重，但是这还不够。

减少过拟合的最佳方法是从所有可能的参数设置中获得平均预测，并聚合最终输出。但是，这在计算上过于昂贵，对于实时推断/预测来说是不可行的。

另一种方法是受到集成技术(如AdaBoost、XGBoost和Random Forest)的启发，我们使用不同体系结构的多个神经网络。但这需要对多个模型进行训练和存储，但是随着网络的深入，这将成为一个巨大的挑战。

我们有一个很好地解决方案叫做dropout 层。

2. dropout是什么？

如图1所示，在神经网络中，dropout指的是以概率p随机删除输入层和隐藏层中的部分节点，与已删除节点的所有向前和向后连接都将被临时删除，从而创建一个新的网络体系结构。每个节点被丢弃的概率为p。

举个例子：给定一个输入 $x:\{1,2,3,4,5\}$ ，将x输入一个全连接网络。我们设定dropout层的概率p=0.2(节点留下的概率是0.8)。在网络训练阶段，在输入x开始的正向传播过程中，20%的节点将会被丢弃，比如x可能会变成 $x:\{1,0,3,4,5\}$ 或者 $x:\{1,2,3,0,5\}$ 等等。