本文总结了神经网络调参的基本概念和技巧，包括超参数的选择、调参策略如Random Search，以及权重初始化、激活函数、优化器、学习率、Epoch、mini-batch size和Batch Normalization等关键参数的调整。还探讨了欠拟合和过拟合的解决方法，如Dropout层的λ调参。
目录
1.基本概念
超参数： 如学习率 α α α、adam方法的 β 1 β_1 β1和 β 2 β_2 β2参数、网络层数、每层隐藏单元数、学习率衰减值、mini-batch大小等需要人工选取的参数。
参数：权重，需要被训练的参数。比如： W T X + b W^TX+b WTX+b，这里 W W W、 b b b就是参数。
2.可调参数
- 神经网络的层数
- 每层神经元的个数
- 初始化Weights和biases
- 激活函数
- Loss函数
- 梯度下降算法/优化器：Adam…
- 学习率Learning rate
- 训练集大小
- batch size或mini-batch size
- Epoch
- Regularization：L1,L2
- Regularization parameter λ \lambda λ
- Dropout
- 自己模型的超参数（还有啥啊？？）
3.调参技巧
3.1.Random Search代替Gird Search
网格搜索主要适
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
