曾经做实验的有关神经网络模型的分析,记录一下
1.Loss图
通常数据集会被划分成三部分,训练集、验证集、测试集。在训练模型中可以根据训练集的loss和验证集loss来诊断模型,从而能够以此优化参数训练得到一个更好的模型。这个更好指的是能在测试集上表现更好的模型,也就是泛化能力强的模型。其中根据模型的表现可以将其分为三类,Underfit(欠拟合)、Overfit(过拟合)、Good fit (完美拟合)。
比如,Taining Loss下降,而Validation Loss比较稳定,说明这个模型是Overfit(过拟合)。也就是说,该模型对训练集的拟合比较好,但在测试集、验证集上的表现比较差,即模型的泛化能力比较差。
过拟合产生的原因通常有训练的样本量太少、模型过于复杂等。
2.模型评估系数(均方误差、均方根误差、平均绝对误差、决定系数)
均方误差(MSE)计算的是拟合数据和原始数据对应样本点的误差的平方和的均值。在深度学习中,均方误差被用于衡量神经网络在回归任务中的性能,并作为损失函数进行优化。MSE的值越小,说明模型的预测值与真实值之间的差异越小,模型的性能越好。
均方根误差(RMSE)是观测值与真值偏差的平方和观测次数n比值的平方根,用来衡量观测值同真实值之间的偏差,其值越小,表示预测精度越高。
平均绝对误差(MAE)是绝对误差的平均值,也就是测量值与真值之间误差的平均。其值越小,表示预测精度越高。与均方根误差有些相似,但对于异常值,均方根误差更敏感。
决定系数(R2)是一种用于评估模型拟合优度的指标。R2的值一般为[0-1]之间的值,越靠近1说明拟合得越好,而越靠近0说明拟合得越差。
如:
评估系数 | 均方误差 | 均方根误差 | 平均绝对误差 | 决定系数 |
1.54827 | 1.24430 | 0.93283 | 0.94608 |
均方误差的值比较大,说明预测值与真实值之间的差异较大,模型的性能不是很好。均方根误差、平均绝对误差的值也比较大,说明预测的准确度不是很高。决定系数的值接近9.5,说明该模型的拟合程度还行。