过拟合
Estimated<Ground-truth 欠拟合
Estimated>Ground-truth 过拟合 泛化能力变差 训练损失和准确率比较好 测试准确率比较差
过拟合比较多
overfitting与数据集的多少 划分有关
Train-Val-Test划分
挑选模型参数
train—训练模型参数
Val—选取最优模型参数
test—对模型测试(没有Val就充当Val功能)
regularization 防止过拟合
动量与学习率 更改梯度改变方向和大小
Training Set Accuracy 可以不断攀升
Test Set Accuracy 会达到一个最高点后下降 (过拟合的原因)
Dropout用于防止过拟合 减小有效参数量
卷积神经网络
卷及神经网络
池化层(下采样层)
上采样层
BatchNorm 收敛速度快 更容易搜素最优解 更稳定
经典卷积网络
ResNet
nn.module
数据增强