丢弃法是深度学习中提升模型稳定性和鲁棒性的一种重要技术，它通过在训练过程中随机关闭（或丢弃）部分神经元，模拟数据添加噪音的效果。这一方法确保了经过丢弃后的期望值与原始数据相同，即E[x]=x，这样可以在不增加计算复杂度的同时防止过拟合，提高模型的泛化能力。
丢弃法是在深度学习中很重要的一个方法，能够等价与加入噪音使得模型更具有鲁棒性
但是我们加入这个“噪音”要希望加入之后的期望与原数据是相同的，即
E
[
x
′
]
=
x
E[x']=x
E[x′]=x
所以我们可以变化
x
i
′
=
{
0
w
i
t
h
p
r
o
b
a
l
i
t
y
p
x
i
1
−
p
o
t
h
e
r
i
s
e
x_i'=\left\{ \begin{array}{rcl} 0 & & with \; probality \; p\\ \frac{x_i}{1-p} & & otherise \end{array} \right.
xi′={01−pxiwithprobalitypotherise
等价于每次随机的消失神经元
扫一扫
25万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
