深度学习名词理解

1. validation loss ： Link

Really a fundamental question in machine learning.

If validation loss >> training loss you can call it overfitting.
If validation loss  > training loss you can call it some overfitting.
If validation loss  < training loss you can call it some underfitting.
If validation loss << training loss you can call it underfitting.

Your aim is to make the validation loss as low as possible. Some overfitting is nearly always a good thing. All that matters in the end is: is the validation loss as low as you can get it. This often occurs when the training loss is quite a bit lower.

2. Accuracy, Precision, Recall & F1 Score:Link

先看一个表格和曲线。
图1上
图2下

ROC曲线，可以查看AUC（曲线下面积-图2）和其他参数（混淆矩阵-图1）来判断ROC曲线的好坏。
在混淆矩阵中，

指标	解释
True Positives (TP)	正确预测的正值，实际类别的值为Y，预测类别的值也是Y
True Negatives (TN)	正确预测的负值，这意味着实际类的值为N，预测类的值为N
False Positives (FP)	实际类别N，预测值Y
False Negatives (FN)	实际类别Y，预测类别N

一旦解了这四个参数，我们就可以计算准确度、精确度、召回率和 F1 分数。
Accuracy - Accuracy是最直观的性能衡量标准，它只是正确预测的观察值与总观察值的比率。有人可能会认为，如果我们的Accuracy很高，那么我们的模型就是最好的。是的，Accuracy是一个很好的衡量标准，但前提是您拥有对称数据集，其中假阳性和假阴性的值几乎相同。因此，您必须查看其他参数来评估模型的性能。对于我们的模型，我们得到了 0.803，这意味着我们的模型大约是。80% 准确。

$$Accuracy=\frac{TP+TN}{TP+FP+FN+TN}$$

Precision - 精度是正确预测的阳性观察值与总预测阳性观察值的比率。这个度量标准回答的问题是所有标记为幸存的乘客，实际上有多少人幸存下来？高精度与低误报率有关。我们得到了 0.788 的精度，这是相当不错的。

$$Precision=\frac{TP}{TP+FP}$$

Recall (Sensitivity) - 召回率是正确预测的正面观察值与实际类别中所有观察值的比率 - 是的。问题回忆的答案是：在所有真正幸存的乘客中，我们标记了多少？我们得到了 0.631 的召回率，这对这个模型来说是好的，因为它高于 0.5。

$$Recall=\frac{TP}{TP+FN}$$

F1 score - F1 分数是 Precision 和 Recall 的加权平均值。因此，该分数同时考虑了误报和漏报。直观上它不像准确率那么容易理解，但 F1 通常比准确率更有用，尤其是当您的类别分布不均匀时。如果误报和漏报具有相似的成本，则准确性最佳。如果误报和漏报的成本非常不同，最好同时查看 Precision 和 Recall。在我们的例子中，F1 分数是 0.701。

$$F1-Score=\frac{2\ast (Recall\ast Precision)}{(Recall+Precision)}$$