深度学习/神经网络模型的调参

第一种：网络模型相关的参数

1. 神经网络网络层
2. 隐藏层单元大小
3. 卷积核数量
4. 损失层的选择

第二种：数据预处理

1. 批量大小
2. 归一化

第三种：超参数

1. 激活函数：Relu
2. 初始化（一般不需要修改）
3. 梯度下降：SGD，Adam
4. 训练的轮数、次数
5. 批量大小
6. 学习率
7. 衰减函数
8. 正则化

什么情况下需要调参呢？通常是在网络训练的结果：

1.过拟合，样本数量太少了

   解决办法：数据增强、早停法、dropout、学习率、训练的次数

2.欠拟合

   解决办法：加深网络层数、尽量用一些非线性激活函数比如relu、迭代次数调整

3.拟合，但是在震荡

   解决办法：数据增强太多了、降低学习率

4.不收敛

   解决办法：数据预处理部分、使用的网络层数

过程

1. 搭建网络模型
2. 先用小样本，减少训练时间
3. 分析损失值

模型示例

1. 加载数据集
2. 搭建网络模型—定义类（初始化和前向传播）
3. 实例化网络模型（传递的参数与初始化参数一致）
4. 定义损失函数和优化器
5. 初始化记录损失值的列表
6. 设置训练的步数
7. 训练的函数体

模型在小数据集上表现良好，在大数据集上表现不佳？

解决办法：数据集进行数据清洗