瞎聊机器学习——准确率、精确率、召回率、F1 score

针对分类、回归、排序等问题的模型评估，不同的问题有不同的评估方法，今天重点来说一下关于分类问题的准确率（Accuracy）、精确率（precision）、召回率（Recall）、F1 score。

准确率（Accuracy）

准确率指的是分类正确的样本占总样本个数的比例

即：

其中就是被分类正确的样本个数，是总样本的个数。

精确率（precision）

精确率是指分类正确的正样本个数占分类器判定为正样本的个数的比例。

即：

其中表示分类正确的正样本的数量，表示所有被分为正样本的数量。

召回率（Recall）

召回率是指分类正确的正样本占真实正样本的比例。

即：

其中表示分类正确的正样本的数量，表示真实正样本的数量。

F1 score

F1 score可以认为是精确率和召回率的调和平均值。

举例说明一下这几个值的计算方法

假设某个班级有男生80人，女生20人，共100人，目的是找出所有的女生。

第一次：挑出50人，其中女生有15人（分类正确），有35个男生（分类错误）。

第二次：挑出50人，其中女生有20人（分类正确），有30个男生（分类错误）。

计算一下相应的值

第一次：

Accuracy = (15+(80-35))/100 = 60%

Precision = 15/50 = 30%

Recall = 15/20 = 75%

F1 = 2*0.3*0.75/0.3+0.75=42.9%

第二次：

Accuracy = (20+(80-30))/100 = 70%

Precision = 20/50 = 40%

Recall = 20/20 = 100%

F1 = 2*0.4*1/0.4+1 = 57.1%

根据两次结果我们可以对比出每种分类结果（不同分类器）之间的差距，在评估时我们可能会希望Precision越高越好，同样也希望Recall越高越好，但是我们考虑只抽取一个人且是女生的情况，此时的precision很高，但Recall却很低，我们并不能认为该分类方法是很好的，想要去衡量这个问题，我们可以绘制P-R曲线（横坐标为召回率，纵坐标为精确率）来对比不同分类器的表现好坏。