dropout+Batch Normalization理解

最新推荐文章于 2024-01-08 01:23:17 发布

allein_STR

最新推荐文章于 2024-01-08 01:23:17 发布

阅读量520

点赞数 2

分类专栏：机器学习/深度学习

本文链接：https://blog.csdn.net/allein_STR/article/details/107557421

版权

机器学习/深度学习专栏收录该内容

76 篇文章 16 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Dropout和Batch Normalization的概念。Dropout在正向传播中随机关闭部分神经元，防止过拟合，测试时权重需要乘以保留概率P。Batch Normalization通过规范化使输入数据接近高斯分布，加速训练过程，提高模型稳定性。

摘要由CSDN通过智能技术生成

Dropout理解：

在没有dropout时，正向传播如下：

加入dropout后：

测试时，需要每个权值乘以P：

Dropout官方源码：

#dropout函数实现  
def dropout(x, level):  # level为神经元丢弃的概率值，在0-1之间
    if level < 0. or level >= 1:
        raise Exception('Dropout level must be in interval [0, 1[.')  
    retain_prob = 1. - level  
    # 利用binomial函数（二项分布），生成与x一样的维数向量。
    # 神经元x保留的概率为

了解本专栏