Dropout正则化

dropout导论

在深度学习网络的训练过程中，Dropout的实现是让神经元以超参数p的概率停止工作（坏死、丢弃不同的书籍说法不一）或者激活被置为0,未被置为0的进行缩放，缩放比例为1/(1-p)。训练过程可以认为是对完整的神经网络的一些子集进行训练，每次基于输入数据只更新子网络的参数。
注意：神经元的停止工作（坏死、丢弃不同的书籍说法不一）是暂时

常见的dropout有效论

Hinton组合论

众所周知神经元有两个致命缺点：费时、容易过拟合。Dropout的出现很好的可以解决这个问题，每次做完dropout，相当于从原始的网络中找到一个更瘦的网络，但此时要训练的参数数目却是不变的，这就解脱了费时的问题。

动机论

在自然界中的中大型动物（乃至我们人类），一般都是有性繁殖，有性繁殖是指后代的基因从父母两方各继承一半（类似Dropout）。无性繁殖则是可以保留大段大段的优秀基因（可以当梯度下降理解）。最后有性生殖留下来了，是因为有性生殖虽然相对保留了较少优秀基因，但却有更多机会组合出新组合（也就是产生的可能更多），生物足够多的话，面对恶劣的环境生存性就会加强。

代码案列

import torch
import torch.nn as nn

def test():
    # 初始化随机失活层
    dropout = nn.Dropout(p=0.4)
    # 初始化输入数据:表示某一层的weight信息
    inputs = torch.randint(0, 10, size=[1, 4]).float()
    layer = nn.Linear(4,5)
    y = layer(inputs)
    print("未失活FC层的输出结果：\n", y)

    y =  dropout(y)
    print("失活后FC层的输出结果：\n", y)


if __name__ == '__main__':
    test()

运行结果：