机器学习的模型性能度量：评估指标PR对比ROC/AUC

  一般，对学习器的泛化性能进行评估，需要有能衡量模型泛化性能的评价标准，即性能度量（performance measure）。性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，并通过这个指标来进一步调参逐步优化我们的模型。下面是一个机器学习小白的学习记录。

混淆矩阵

  对于二分类的模型，可以把预测情况与实际情况的所有结果两两组合，结果就会出现以下4种情况，就组成了分类结果的混淆矩阵（confusion matrix）：

  令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN+FN=样例总数。分类的准确率可以表示为预测正确的结果占总样本的百分比，其公式如下：
$$准确率=\frac{TP+TN}{TP+TN+FP+FN}$$

  由于样本不平衡的问题，导致即使得到较高的准确率结果，并不能作为很好的指标来衡量结果。举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的，对于这种情况，即使全部样本预测为正样本即可得到90%的高准确率。因此说明如果样本不平衡，准确率就会失效。

精准率和召回率

  精准率（Precision）又叫查准率，它是针对预测结果而言的，它的含义是在所有被预测为正的样本中实际为正的样本的概率。意思就是，在预测为正样本的结果中，我们有多少把握可以预测正确，其公式如下：
$$精准率=\underset{TP+FP}{}$$