学习笔记-吴恩达深度学习课程二-深度学习的实用层面
1.1训练集、测试集、验证集,这三者最好来自同一分布,搭建训练验证集和测试集能够加速神经网络的集成。
1.2方差、偏方差
1.3正则化
一般过度拟合数据(高方差问题)解决方法通常是正则化或者准备更多数据。
正则化就是在原有的成本函数上加一个含有正则化参数的项lambd
L2正则化,也称为权重衰减
L1正则化(会导致w变得稀疏,含有大量0)
过拟合解决方法——dropout
keep-prob表示保留一个隐藏单元的概率
Inverted dropout (反向随机失活)——用来除以keep-prob
原创
2021-03-10 16:51:28 ·
67 阅读 ·
0 评论