一、模型容量调节
- 隐藏层数
- 层数的神经元个数
- 参数个数和调节范围
- 激活函数
二、优化模型
- L1、L2正则化
- dropout,在层之间加入噪音,而正则是在数据中加入随机噪音,用在mlp的隐藏层中,在测试集上不需要加入。调参方法有64个很好用,那么可以加上dropout用128
- 因为dropout仅用在mlp,BN是用在CNN
- weight_decay权重衰退,对很多网络都可以用如CNN,transformer
- 零均值和单位方差等价于batch normal
- 如果不在训练一个batch后将梯度清零,那么将会相当于提高了每个batchsize,将需要更高的硬件需求
CNN:
7. CNN中的超参数:核大小:最关键一般取奇数,填充:一般为了方便计算则是k-1,步幅:不想用很多层做神经网络;输出通道:卷积层的超参数;池化层:用于缓解卷积对位置的敏感度