【学习笔记2】【dropout / 模型正则 / 超参数调优】--《计算机视觉与深度学习北京邮电大学鲁鹏》

最新推荐文章于 2022-05-04 14:34:05 发布

静静_jingjing

最新推荐文章于 2022-05-04 14:34:05 发布

阅读量218

点赞数

分类专栏：基础知识文章标签：深度学习

本文链接：https://blog.csdn.net/qq_39321513/article/details/117935722

版权

基础知识专栏收录该内容

18 篇文章 0 订阅

订阅专栏

链接奉上：计算机视觉与深度学习北京邮电大学鲁鹏清晰版合集（完整版）_哔哩哔哩_bilibili

应对过拟合

L2正则

弹幕补充的很好

L2正则化形成的分界面不会那么极端。分界面更平滑，形不成很复杂的分界面，考虑的是大多数人的利益。

随机失活

解释2：鼓励神经元学习更多类型的特征，不要只是学习单一特征（鼓励神经元做个不是样样精通的全才，而不是只精通一样的专才）

解释3：小网络的集成，使得网络更稳定一些。投票法。使得鲁棒性强。

这样做的好处是可以给他弄成一个dropout层，不用管预测阶段了。！！！

H'=dropout(p,H)

插播一下
np.random.rand(*H1.shape) < p 这里我看不太懂我就试了一下

a = [
        [1,2,3],
        [4,5,6],
        [7,8,9]
]
p = 0.8
H1 = np.array(a)
s = np.random.rand(*H1.shape)
print(s)
U1 = s < p  # mask操作
print(U1)
H1 *= U1
print(H1)

结果：

[0.18026479 0.81306278 0.00381267]
[0.41355924 0.6054105 0.58435121]]
[[ True False True]
[ True False True]
[ True True True]]
[[1 0 3]
[4 0 6]
[7 8 9]]

看了一下tensorflow的dropout实现源码，和老师讲的一样

超参数