机器学习 jupyter Python 常用模型评估指标

1 精度

Accuracy（精度、准确率）和Error Rate（错误率）是分类模型中最常见的两种性能度量指标，既适用于二分类任务，也适用于多分类任务。
对于分类模型f和大小为n的测试集D,Accuracy(精度)的定义为:

Accuracy = 分对的样本点个数/总的测试的样本个数

2 混淆矩阵

TP为真正(例)，FN为假负(例)， FP为假正(例)，TN为真负(例)
其中T表示的是True，F代表的是False
P代表正的，N代表负的。

精度accuracy = (TP+TN)/(TP+TN+FP+FN)
精确率precision = TP/(TP+FP)
召回率recall = TP/(TP+FN)

2.1 精确率

精确率表示被预测为正例的样本中有多少是真正的样本。

2.2 召回率

召回率表示所有正类的样本中有多少是被准确预测为正类。

2.3 如何理解精确率和召回率？

现在有四个样本点，实际上的标签为[1,0,0,1]，分类的标签为[0,0,0,1]
则每个类别的召回率、精确率和对应的混淆矩阵。

精度：2+1/2+0+1+1=3/4
j精确率：2/2+1=2/3
召回率：2/2+0=1

3 F1分值

通常，查准率与查全率之间是反比关系。所以要想得到好的模型，我们需要另外一个指标（ F1-score ）。
F1分值是精确率和召回率的调和值（它是精确率和召回率的调和平均数），更接近于两个数较小的那个，所以精确率和召回率接近时，F1分值最大。很多推荐系统的评测指标就是用F值的。

有时候公式写为如下的形式:

注：调和平均数（倒数平均数）,𝑥_1,𝑥_2………𝑥_𝑛 的调和平均数为:

3.3 如何了解查准率和查全率？

脑外科手术提供了一个很鲜明的例子。外科医生需要移除所有的肿瘤细胞，因为任何剩余的癌细胞都会再生肿瘤（召回率）。但是，外科医生必须不移除健康的脑细胞，因为这会使病人的脑功能受损（准确率）。
决策1：外科医生有可能会更自由更大胆地在大脑区域中移除癌细胞。这一决定增加查全率，但降低了查准率。
决策2：另一方面，外科医生可能会在大脑中更保守地移除癌细胞。这一决定提高了查准率，但减少了查全率。

4 sklearn模块中classification_report 介绍

sklearn中的classification_report函数用于显示主要分类指标的文本报告．在报告中显示每个类的精确度，召回率，F1值等信息。 主要参数：
y_true：1维数组，或标签指示器数组/稀疏矩阵，目标值。
y_pred：1维数组，或标签指示器数组/稀疏矩阵，分类器返回的估计
labels：array，
shape = [n_labels]，报表中包含的标签索引的可选列表。
target_names：字符串列表，与标签匹配的可选显示名称（相同顺序）。
强调： y_true和y_pred位置千万不要对调；

5 例子

#关于精确率和召回率举例
from sklearn.metrics import classification_report,confusion_matrix#metrics
#classification_report(y_true,y_pred)
print(classification_report([1,0,0,1],[0,0,0,1]))
print(confusion_matrix([1,0,0,1],[0,0,0,1]))
#0类别的精确率：2/3=TP/(TP+FP)
#0类别的召回率:2/2
#1类别的精确率：1/1
#1类别的召回率:1/2 =0.5

运行结果：

recall是召回率，precision是精确率。

混淆矩阵可视化

def cm_plot(y,yp):
    #导入混淆矩阵
    from sklearn.metrics import confusion_matrix
    #输出混淆矩阵
    cm = confusion_matrix(y,yp)
    print(cm)
    print(len(cm))
    #导入画图工具
    import matplotlib.pyplot as plt
    #画图
#     plt.matshow(cm)
    plt.matshow(cm,cmap=plt.cm.Greens)
    plt.colorbar()
    for x in range(len(cm)):
        for y in range(len(cm)):
            plt.annotate(cm[x,y],xy=(y,x),horizontalalignment='center',verticalalignment='center')
    plt.ylabel('True label')# 坐标轴标签
    plt.xlabel('Predicted label')# 坐标轴标签
y = [1,0,0,1]
yp = [0,0,0,1]
cm_plot(y,yp)

运行结果：

6 具体案例 鸢尾花

6.1 导入模块和相关包

import numpy as np
from sklearn import datasets#训练集
from sklearn.model_selection import train_test_split#划分测试集，训练集
# from sklearn.metrics import classification_report,confusion_matrix
#性能指标(Metrics)是衡量一个模型好坏的关键
#sklearn中的classification_report函数用于显示主要分类指标的文本报告
from sklearn.naive_bayes import MultinomialNB,BernoulliNB,GaussianNB
#高斯模型主要用于处理连续性数据；前两种模型主要用于处理离散型数据
from sklearn.metrics import accuracy_score

6.2 载入数据集

#载入数据集
iris = datasets.load_iris()
print(type(iris))
# print('特征值:',iris.data)

6.3 划分测试集，训练集，建立模型，训练模型

x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target)#划分测试集，训练集
print(len(x_train))
print(len(x_test))
# mul_nb = MultinomialNB()
# mul_nb = BernoulliNB()
mul_nb = GaussianNB()
mul_nb.fit(x_train,y_train)
prediction = mul_nb.predict(x_test)
accuracy_score(prediction,y_test)#accuracy=分对的样本数/总的测试的样本数

运行结果：

6.4 导入混淆矩阵包，并且输出混淆矩阵

from sklearn.metrics import classification_report,confusion_matrix
# 性能指标(Metrics)是衡量一个模型好坏的关键
# sklearn中的classification_report函数用于显示主要分类指标的文本报告
print(confusion_matrix(y_test,mul_nb.predict(x_test)))

运行结果：

6.5 混淆矩阵可视化

def cm_plot(y,yp):
    #导入混淆矩阵
    from sklearn.metrics import confusion_matrix
    #输出混淆矩阵
    cm = confusion_matrix(y,yp)
    print(cm)
    print(len(cm))
    #导入画图工具
    import matplotlib.pyplot as plt
    #画图
#     plt.matshow(cm)
    plt.matshow(cm,cmap=plt.cm.Greens)
    plt.colorbar()
    for x in range(len(cm)):
        for y in range(len(cm)):
            plt.annotate(cm[x,y],xy=(y,x),horizontalalignment='center',verticalalignment='center')
    plt.ylabel('True label')# 坐标轴标签
    plt.xlabel('Predicted label')# 坐标轴标签
cm_plot(y_test,mul_nb.predict(x_test))
#错误纠正
#准确率（精度）：（13+14+10）/（13+14+10+1）
#0类别的精确率：13/（13+0+0）
#0类别的召回率：13/（13+0+0）
#1类别的精确率：14/（14+0+0）
#1类别的召回率：14/（14+0+1）

运行结果：