炼丹方法论

一、模型容量调节

1. 隐藏层数
2. 层数的神经元个数
3. 参数个数和调节范围
4. 激活函数

二、优化模型

1. L1、L2正则化
2. dropout，在层之间加入噪音，而正则是在数据中加入随机噪音，用在mlp的隐藏层中，在测试集上不需要加入。调参方法有64个很好用，那么可以加上dropout用128
   
3. 因为dropout仅用在mlp，BN是用在CNN
4. weight_decay权重衰退，对很多网络都可以用如CNN，transformer
5. 零均值和单位方差等价于batch normal
6. 如果不在训练一个batch后将梯度清零，那么将会相当于提高了每个batchsize，将需要更高的硬件需求

CNN：
7. CNN中的超参数：核大小：最关键一般取奇数，填充：一般为了方便计算则是k-1，步幅：不想用很多层做神经网络；输出通道：卷积层的超参数；池化层：用于缓解卷积对位置的敏感度