混淆矩阵相关概念

https://www.bilibili.com/video/BV1GV411C7AW?spm_id_from=333.999.0.0

bilibili.com/video/BV1wz4y197LU?spm_id_from=333.999.0.0

混淆矩阵

混淆矩阵是评判模型结果的一种指标，属于模型评估的一部分，常用于评判分类器模型的优劣。

每一列对应所属于该类的所有验证样本
每一行对应预测属于该类的所有样本

混淆矩阵可以比较直观的看出哪些类别预测效果好(差)

TP：True Positive
FN：False Negative
FP：False Positive（负样本划分为正样本的概率）
TN：True Negative

准确率 针对所有类别
精确率、召回率、特异度 针对每一个类别
灵敏度（TPR）：正确判断病人的率
特异度（TNR）：正确判断非病人的率

准确率

准确率最为常用

$$Accuracy=\frac{预测正确的样本个数}{总的验证样本个数}$$

F1值

$$F1=\frac{2\text{ Precision }\ast \text{ Recall }}{\text{ Precision }+\text{ Recall }}$$

ROC曲线与AUC值

以FPR为横轴、TPR为纵轴，衡量二分类系统性能的曲线。
对正负两类同样关心。

曲线越靠近左上角，效果越好。
曲线与x轴所围成的面积称为AUC,越大越好。

PR曲线

precision-recall曲线，一般情况下，将recall设置为横坐标，precision设置为纵坐标。
precision表示分类正确的正样本个数占分类器判定为正样本的样本个数的比例（预测的所有positive中，预测正确的比例）。
recall表示分类正确的正样本个数占真正的正样本个数的比例（真实positive中，模型预测正确的比例）。
Precision-recall曲线反映了分类器对正例的识别准确程度和对正例的覆盖能力之间的权衡。
越接近1越好

置信区间

误差范围（区间）在统计概率中就叫做置信区间。简单来说，置信区间就是误差范围。
95% 的置信度是，在重复抽样中，此方法产生的区间包括，样本的总体准确性约为95%（区间包含总体平均值的概率）