神经网络参数选择原则

最新推荐文章于 2024-04-21 20:13:01 发布

zy_ky

最新推荐文章于 2024-04-21 20:13:01 发布

阅读量1.1k

点赞数 1

分类专栏： NN

原文链接：https://www.bilibili.com/video/BV1Zt411T7zE?p=15

版权

14 篇文章 1 订阅

订阅专栏

在这里插入图片描述

# 对过拟合添加Dropout层，抑制过拟合
# Dropout，人为地丢弃掉一些层
# 当训练数据数量确定的情况下，可以选用:
# 1.DropOut; 
# 2.正则化
# 3.图像增强（音频增强）

当做调整使得网络不再过拟合了，再调节其他参数。
在这里插入图片描述

调参的时候一定要进行交叉验证，因为调参的时候就是朝着测试集优化得方向调参的，所以就是把参数泄漏给了测试数据。

构建网络的总原则：保证神经网络容量足够拟合数据。
在这里插入图片描述

Recipe of Deep Learning

在这里插入图片描述
当在训练集上效果不好的时候，要检查激活函数。为什么？因为理论上网络越深，效果应该越来越好，但是激活函数选的不好的话，就会出现梯度消失或梯度爆炸或者其他问题，所以导致网络越深，效果反而越差。
在这里插入图片描述

mini-batch的选择会影响GPU能不能发挥效果。mini-batch越大，GPU效果越明显，mini-batch=1，GPU就没用了。

关注