- validation loss : Link
Really a fundamental question in machine learning.
If validation loss >> training loss you can call it overfitting.
If validation loss > training loss you can call it some overfitting.
If validation loss < training loss you can call it some underfitting.
If validation loss << training loss you can call it underfitting.
Your aim is to make the validation loss as low as possible. Some overfitting is nearly always a good thing. All that matters in the end is: is the validation loss as low as you can get it. This often occurs when the training loss is quite a bit lower.
2. Accuracy, Precision, Recall & F1 Score:Link
先看一个表格和曲线。
图1上
图2下
ROC曲线,可以查看AUC(曲线下面积-图2)和其他参数(混淆矩阵-图1)来判断ROC曲线的好坏。
在混淆矩阵中,
指标 | 解释 |
---|---|
True Positives (TP) | 正确预测的正值,实际类别的值为Y,预测类别的值也是Y |
True Negatives (TN) | 正确预测的负值,这意味着实际类的值为N,预测类的值为N |
False Positives (FP) | 实际类别N,预测值Y |
False Negatives (FN) | 实际类别Y,预测类别N |
一旦解了这四个参数,我们就可以计算准确度、精确度、召回率和 F1 分数。
Accuracy - Accuracy是最直观的性能衡量标准,它只是正确预测的观察值与总观察值的比率。有人可能会认为,如果我们的Accuracy很高,那么我们的模型就是最好的。是的,Accuracy是一个很好的衡量标准,但前提是您拥有对称数据集,其中假阳性和假阴性的值几乎相同。因此,您必须查看其他参数来评估模型的性能。对于我们的模型,我们得到了 0.803,这意味着我们的模型大约是。80% 准确。
A c c u r a c y = T P + T N T P + F P + F N + T N Accuracy =\dfrac{TP+TN}{TP+FP+FN+TN} Accuracy=TP+FP+FN+TNTP+TN
Precision - 精度是正确预测的阳性观察值与总预测阳性观察值的比率。这个度量标准回答的问题是所有标记为幸存的乘客,实际上有多少人幸存下来?高精度与低误报率有关。我们得到了 0.788 的精度,这是相当不错的。
P r e c i s i o n = T P T P + F P Precision = \dfrac{TP}{TP+FP} Precision=TP+FPTP
Recall (Sensitivity) - 召回率是正确预测的正面观察值与实际类别中所有观察值的比率 - 是的。问题回忆的答案是:在所有真正幸存的乘客中,我们标记了多少?我们得到了 0.631 的召回率,这对这个模型来说是好的,因为它高于 0.5。
R e c a l l = T P T P + F N Recall = \dfrac{TP}{TP+FN} Recall=TP+FNTP
F1 score - F1 分数是 Precision 和 Recall 的加权平均值。因此,该分数同时考虑了误报和漏报。直观上它不像准确率那么容易理解,但 F1 通常比准确率更有用,尤其是当您的类别分布不均匀时。如果误报和漏报具有相似的成本,则准确性最佳。如果误报和漏报的成本非常不同,最好同时查看 Precision 和 Recall。在我们的例子中,F1 分数是 0.701。
F 1 − S c o r e = 2 ∗ ( R e c a l l ∗ P r e c i s i o n ) ( R e c a l l + P r e c i s i o n ) F1- Score = \dfrac{2*(Recall * Precision) }{ (Recall + Precision)} F1−Score=(Recall+Precision)2∗(Recall∗Precision)