深度学习基础：dropout解决过拟合现象

dropout有很多种方式。该文章主要总结倒置丢弃法

一、dropout概述

dropout是指：将hidden layer中的某些隐藏单元以一定的概率进行丢弃。

被丢弃的神经元，在反向传播时，与这些神经元相关的权重梯度均为0。由于在训练中隐藏层神经元的丢弃是随机的，即$h_1,...,h_5$ 都有可能被清零。这样输出层的计算都⽆法过度依赖$h_1,...,h_5$中的任⼀个，从而在训练模型时起到正则化的作⽤，并可以⽤来应对过拟合。在测试模型时，我们为了拿到更加确定性的结果，⼀般不使⽤丢弃法。

具体做法：
设丢弃概率为$p$，那么有$p$的概率$h_i$会被清0，有$1-p$的概率$h_2$会除以$1-p$做拉伸。丢弃概率是dropout的超参数。使用dropout时，计算新的隐藏单元$h_i^{\prime }$
$$h_i^{\prime }=\frac{{\xi }_i}{1-p}{h}_i$$

其中随机变量${\xi }_i$为0和1的概率分别为$p$和$1-p$

二、实现dropout函数

import d2lzh as d2l
from mxnet import autograd, gluon, init, nd
from mxnet.gluon import data as gdata, loss as gloss, nn

def dropout(X, drop_prob):
    assert 0 <= drop_prob <= 1
    keep_prob = 1 - drop_prob
    # 这种情况下把全部元素都丢弃
    if keep_prob == 0:
        return X.zeros_like()
    mask = nd.random.uniform(0, 1, X.shape) < keep_prob
    return mask * X / keep_prob

• 其中nd.random.uniform(0, 1, X.shape)函数的作用是：生成和$X$形状一样的数据结构，其中的元素均在$[0,1]$之间
• mask的形状和X一样，其中的每个元素实际上表示了每个元素被保留的概率。如果比给定的keep_prob还小，说明小概率事件发生了，就保留下来
• 在python中，形状相同$X、Y$矩阵相乘，所得结果矩阵的形状也为$X.shape$，而其中每个元素=$X_i\ast Y_i$

---

在使用mxnet框架时，可以通过在nn.Sequential()生成的容器中addnn.Dropout(prob)来实现，其中prob表示丢弃的概率，是超参数。如下：