【深度学习基础知识 - 08】dropout的原理、特点以及作用

dropout的原理

• dropout就是对于每个神经元，都有一定的概率被舍弃，也就是让其输出置零，进而不更新权重。

dropout的特点

• 只在训练的时候开启，验证的时候不开启。
• 值得注意的是，dropout的舍弃概率是作用到每个神经元上的，并非总共有效的神经元占当前layer的50%（或其他概率），而是当前layer的当前参数有50%（或其他概率）的可能被舍弃。
• 最早dropout是在全连接层使用的，后来在卷积层中也增加了dropout功能，当前的一些常见框架都有提供相关API。

dropout的作用

• 主要用于防止模型过拟合。

博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感悟，喜欢请关注、点赞、收藏。