深度学习 解决过拟合问题

一、问题

在深度学习时,一般将数据集划分成训练集和测试集。如果最终的训练结果不满意,一般就是以下两种情况:

(1)训练集的准确率不高,测试集的准确率也不高;(欠拟合)

(2)训练集的准确率非常高,测试集的准确率比训练集差上许多。(过拟合)

对于第(1)种情况,一般是因为模型自身的问题,比如模型本身选择的不对,模型的类型不对或者模型的深度太浅了,需要重新选择合适的模型。

对于第(2)种情况,通过训练过程中的损失值变化可以判断出过拟合情况的发生。例如下面的两个图,训练集上的损失一直在下降,但验证集的损失函数在某个点往后,与训练集损失下降的趋势不同,损失反而在抬升。

在这里插入图片描述

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页