评价指标

模型评估指标

1.混淆矩阵

2.准确率，精确率，f1值


精确率和召回率一般会呈现此消彼长的状况
如下图所视;

不能一味的要求准确率或者精确率高，因此f1值取得是精确率和召回率的调和平均

不同领域所需要的评价标准不同，例如在医疗领域，不想遗漏下任何一位患者，因此希望召回率高。

3.ROC曲线和 AUC值

分类器会计算图片是汉堡的概率，其次我们会设置阈值（0~1 之间的任何一个数），因此我们会得到很多的混淆矩阵。


就是：

对于一个混淆矩阵，我们可以求出TPR，FPR两个指标，映射到ROC曲线之中的一个点。当有多个混淆矩阵时就能得到ROC曲线。

当TPR越大FTP越小时，预测的越准确

因此越靠近左上角，模型效果越好。

AUC指的是ROC曲线与x周围成的面积。

4.ROC曲线与 PR曲线

不同阈值对应的混淆矩阵都有唯一的精确率和召回率，所以




如图负例493，正例7，样本极度不平衡。而模型预测的TP很低，此时ROC显示，模型效果较好，但是PR显示模型较差。也就是说，如果更关心的正例的预测，并且数据很不平衡，此时要选用PR曲线做评估。

前置知识
1.复杂性和可解释性

2.欠拟合过拟合


回归问题的评价指标：
均方误差：

均方根误差：

平均绝对误差：

决定系数：
反映目标值之间的差异性由模型能有百分之多少被解释，比例越大模型效果越好，TSS与RSS之间的差异越小