分类模型的评估标准（精确率&召回率&准确率）

对模型进行评估时，可以选择很多种指标，但不同的指标可能得到不同的结果，如何选择合适的指标，需要取决于任务需求。

针对二元分类结果，常用的评估指标有如下三个：查准率（Precision）、查全率（Recall）以及F-score。这篇文章将讨论这些指标的含义、设计初衷以及局限性。

一、二元分类问题

在机器学习领域，我们常常会碰到二元分类问题。这是因为在现实中，我们常常面对一些二元选择，比如在休息时，决定是否来一把吃鸡游戏。不仅如此，很多事情的结果也是二元的，比如向妹子表白时，是否被发好人卡。

当然，在实际中还存在一些结果是多元的情况，比如从红、黄、蓝三种颜色中，选择一个，而这些多元情况对应着机器学习里的多元分类问题。对于多元分类问题，在实际的处理过程中常将它们转换为多个二元分类问题解决，比如图1所示的例子。

那么自然地，一个多元分类结果可以分解为多个二元分类结果来进行评估。这就是为什么我们只讨论二元分类结果的评估。

1、混淆矩阵

在机器学习领域，混淆矩阵（confusion matrix），又称为可能性表格或是错误矩阵。它是一种特定的矩阵用来呈现算法性能的可视化效果，通常是监督学习（非监督学习，通常用匹配矩阵：matching matrix）。其每一列代表预测值，每一行代表的是实际的类别。这个名字来源于它可以非常容易的表明多个类别是否有混淆（也就是一个class被预测成另一个class）。

在分类任务下，预测结果（Predicted Condition）与正确标记（True Condition）之间存在四种不同的组合，构成混淆矩阵（适用于多分类）

二、评估标准

1、准确率

estimator.score()

• 一般最常见使用的是准确率，即预测结果正确的百分比

2、精确率（查准率）

预测结果为正例样本中真实为正例的比例（查得准）

3、召回率（查全率）

真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）

4、F-score

在实践中，我们定义了新的指标去“综合”这两个指标。具体的定义如公式（3），从数学上来看，它其实是查准率与查全率的调和平均数。对于二元分类问题，F-score 综合考虑了预测结果的查准率和查全率，是一个比较好的评估指标。

其实从模型的角度来看，查准率与查全率的“相互矛盾”给了我们更多的调整空间。应用场景不同，我们对查准率和查全率的要求是不一样的。在有的场景中，关注的焦点是查全率。例如对于网上购物的衣服推荐，电商平台关心的是那些对衣服感兴趣的客户，希望模型对这些客户的预测都正确；而那些对衣服不感兴趣的客户，即使模型结果有较大偏差，也是可以接受的。也就是说，电商平台重视查全率，但不太关心查准率。这时就可以调低模型的预测标准，通过牺牲查准率来保证查全率。但在有的场景中，查准率才是重点。例如在实时竞价（RTB）广告行业，有3种参与者：需要在互联网上对产品做广告的商家，比如Nike；广告投放中介（DSP）；广告位提供者，比如新浪网。Nike将广告内容委托给广告投放中介A，A通过分析选定目标客户群。当目标客户访问新浪网时，A向新浪网购买广告位并将Nike广告推送给他。如果该客户点击了Nike广告，Nike会向投放中介A支付相应费用。否则，全部费用由中介A承担。那么对于广告投放中介A，它希望投放的每条广告都会被点击，但不太关心是否每个对Nike感兴趣的客户都被推送了广告。换句话说，广告投放中介更关心查准率。于是可以通过调高模型的预测标准来提高查准率，当然这时会牺牲一部分查全率。

对于这些偏重某一特定指标的场景，相应地定义指标（其实是的一个特例）。当靠近0时，偏向查准率，而很大时，则偏向查全率：

查准率、查全率和F-score是最为常用的二元分类结果评估指标。其中查准率和查全率这两个指标都只侧重于预测结果的某一个方面，并不能较全面地评价分类结果。而F-score则是更加“上层”的评估指标，它建立在前面两个指标的基础上，综合地考虑了分类结果的精确性和全面性。

三、分类评估API

sklearn.metrics.classification_report

1、案例使用（fetch_20newsgroups）

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics import classification_report

def naivebayes():
    """
    朴素贝叶斯进行文本分类
    :return:None
    """
    news = fetch_20newsgroups(subset='all')

    #进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    #对数据集进行特征抽取
    tf = TfidfVectorizer()
    x_train = tf.fit_transform(x_train) #以训练集当中的词的列表进行每篇文章重要性统计
    x_test  = tf.transform(x_test)

    #进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)
    mlt.fit(x_train, y_train) #训练集的特征值以及目标值
    y_predict = mlt.predict(x_test)
    print("预测的文章类别为：", y_predict)

    #得出准确率
    print("准确率为：", mlt.score(x_test, y_test))

    print("每个类别的精确率和召回率：")
    print(classification_report(y_test, y_predict, target_names=news.target_names))

    return None

if __name__ == '__main__':
    naivebayes()

结果部分截图：