机器学习笔记三——模型评估与选择2——性能度量(分类问题）

最新推荐文章于 2022-10-04 10:32:37 发布
最新推荐文章于 2022-10-04 10:32:37 发布
阅读量2.3k 收藏 14
点赞数 3
分类专栏： 机器学习 文章标签： 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666566/article/details/106643022
版权

适用于分类问题中的性能度量

对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量 （performance measure）。

性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。这意味着模型的‘好坏’是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。

在预测任务中，给定数据集 D= ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) (x_1,y_1),(x_2,y_2),...,(x_m,y_m) (x1​,y1​),(x2​,y2​),...,(xm​,ym​)，其中 y i y_i yi​ 是示例 x i x_i xi​ 的真实标记。要估计学习器 f 的性能，就要把学习器预测结果 f(x)与真实标记 y 进行比较。

为了说明各性能度量指标，我们以鸢尾花数据集为例，模型选择决策树 CART 算法，通过 train_test_split() 划分数据集，最后评估各项性能指标。

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split


# 引入数据集
dataset = load_iris()
data = dataset.data
target = dataset.target
features = dataset.feature_names

# 划分数据集以及模型训练
data_train, data_test, target_train, target_test = train_test_split(data, target, test_size=0.33, random_state=7)
model = DecisionTreeClassifier()
model.fit(data_train, target_train)

1、准确率

准确率： 对于给定的数据，分类正确的样本数占总样本数的比例。

【代码实现】

from sklearn.metrics import accuracy_score
accuracy_score(target_test,model.predict(data_test))
#输出：0.94

【准确率的局限性】

准确率这一指标在Unbalanced数据集上的表现很差，因为如果我们的正负样本数目差别很大，比如正样本100个，负样本9900个，那么直接把所有的样本都预测为负， 准确率为99%，但是此分类模型实际性能是非常差的，因为它把所有正样本都分错了。

解决方案： 平均准确率——每个类别下的样本准确率的算术平均。例如一个二分类问题，分类 0 共有 270 个样本，其中正确的有 240；分类 1 共有 30 个样本，其中正确的有 24。最终计算出的精度为 (240 + 24) / 300 = 0.88，而平均精度为 (240 / 270 + 24 / 30) / 2 = 0.844。可以看出在分类不均衡情况下，平均精度比精度更能反映客观情况。

【代码实现】

from sklearn.metrics import balanced_accuracy_score

balanced_accuracy_score(target_test, model.predict(data_test))
# 输出：0.944

2、查准率，查全率，混淆矩阵，P-R 曲线，F1

\quad \quad 对于二分类问题常用的评价指标是精确率和召回率。通常以关注的类为正类，其他类为负类，分类器在数据集上的预测或者正确或者不正确，我们有4中情况：

  • TP：True Positive， 把正类预测为正类；
  • FP：False Positive，把负类预测为正类；
  • TN：True Negative， 把负类预测为负类；
  • FN：False Negative，把正类预测为负类

在混淆矩阵中表示如下：

真实情况预测结果预测结果
正例反例
正例TP（真正例）FN（假反例)
反例FP（假正例）TN（真反例）

显然有TP+FP+TN+FN=样例总数。

查准率：又称准确率（precision），在所有被预测为正类的样本中真实结果也为正类的占比。也就是说，分类正确的正样本个数占分类器判定为正样本的样本个数的比例。其用于衡量模型避免错误的能力。
P = T P T P + F P P=\frac{TP} {TP+FP} P=TP+FPTP​

查全率：又称召回率（recall）， 在所有真实结果为正类的样本中预测结果也为正类的占比。也就是说，分类正确的正样本个数占真正的正样本个数的比例。其用于衡量模型避免缺漏的能力。

R = T P T P + F N R=\frac{TP}{TP+FN} R=TP+FNTP​

【查准率和查全率代码实现】

from sklearn.metrics import precision_score
from sklearn.metrics import recall_score
print(precision_score(target_test, model.predict(data_test), average='weighted'))
# 输出：0.941
print(recall_score(target_test, model.predict(data_test), average='weighted'))
# 输出：0.94

\quad \quad 需要注意的是，precision_score 和 recall_score 方法默认用来计算二分类问题，若要计算多分类问题，则需要设置 average 参数，更多内容请参考官方文档：
precision_score、recall_score

\quad \quad 一般来说，这两者是矛盾的，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。通常只有在一些简单任务中才可能使查全率和查准率都很高。

混淆矩阵以及可视化实现

模板：

# 混淆矩阵的可视化显示，以下代码可以直接作为模板
import matplotlib.pyplot as plt
import itertools
import numpy as np
from sklearn.metrics import confusion_matrix
#计算混淆矩阵，confusion_matrix(y_true,y_pred)
cnf_matrix = confusion_matrix(y_true,y_pred)
# 参数：cm:混淆矩阵，classes:数据集目标类别数
def plot_confusion_matrix(cm, classes,
                          title='Confusion matrix',
                          cmap=plt.cm.Blues):
    """
    绘制混淆矩阵
    """
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=0)
    plt.yticks(tick_marks, classes)

    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, cm[i, j],
                 horizontalalignment="center",
                 color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

应用在鸢尾花数据集上试一试
1、导入数据集

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
# 引入数据集
dataset = load_iris()
data = dataset.data
target = dataset.target
features = dataset.feature_names

# 划分数据集以及模型训练
data_train, data_test, target_train, target_test = train_test_split(data, target, test_size=0.33, random_state=7)
model = DecisionTreeClassifier()
model.fit(data_train, target_train)
# 查看类别数
print(target_train)

结果：

[0 0 2 0 2 1 1 1 0 0 0 1 2 1 1 0 2 0 0 2 2 0 2 0 1 2 1 0 1 0 2 2 1 0 0 1 2
 0 2 2 1 0 1 0 2 2 0 0 2 1 2 2 1 0 0 2 0 0 1 2 2 1 1 0 2 0 0 1 1 2 0 1 1 2
 2 1 2 0 1 1 0 0 0 1 1 0 2 2 1 2 0 2 1 1 0 2 1 2 1 0]

说明鸢尾花类别有0，1，2

2、定义混淆矩阵可视化函数

# 混淆矩阵的可视化显示，以下代码可以直接作为模板
import matplotlib.pyplot as plt
import itertools
import numpy as np
from sklearn.metrics import confusion_matrix
# 参数：cm:混淆矩阵，classes:数据集目标类别数
def plot_confusion_matrix(cm, classes,
                          title='Confusion matrix',
                          cmap=plt.cm.Blues):
    """
    绘制混淆矩阵
    """
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=0)
    plt.yticks(tick_marks, classes)

    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, cm[i, j],
                 horizontalalignment="center",
                 color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

3、计算混淆矩阵并可视化

#计算混淆矩阵，confusion_matrix(y_true,y_pred)
cnf_matrix = confusion_matrix(target_test,model.predict(data_test))
#画出非标准化的混淆矩阵
class_names = [0,1,2]
plt.figure()
plot_confusion_matrix(cnf_matrix,classes=class_names,title='Confusion matrix')
plt.show()

结果：
在这里插入图片描述

到此，完工！

【P-R曲线】

\quad \quad 在很多情形下，我们可根据学习器的预测结果对样例进行排序，排在前面的是学习器认为"最可能"是正例的样本，排在最后的则是学习器认为"最不可能"是正例的样本。按此顺序逐个把样本作为正例进行预测，则每次可以计算出当前的查全率、查准率以查准率为纵轴、查全率为横轴作图，就得到了查准率-查全率曲线，简称" P-R 曲线"，显示该曲线的图称为" P-R图"。

在这里插入图片描述
\quad \quad 以信息检索为例，刚开始在页面上显示的信息是用户可能最感兴趣的信息，此时查准率高，但只显示了部分数据，所以查全率低。随着用户不断地下拉，信息符合用户兴趣的匹配程度逐渐降低，查准率不断下降，查全率逐渐上升。当下拉到信息底部时，此时的信息是最不符合用户兴趣，因此查准率最低，但所有的信息都已经展示，查全率最高。可以用sklearn.metrics.precision_recall_curve计算PR曲线

需要注意的是 P-R 曲线只能用于二分类问题， 官方文档明确指出：

因此我们需要对鸢尾花数据集进行改造，只取其中两分类。

import numpy as np
from matplotlib import pyplot as plt
from sklearn.metrics import precision_recall_curve
from sklearn.metrics import average_precision_score
from sklearn.svm import LinearSVC
from inspect import signature

iris = load_iris()
X = iris.data
y = iris.target

# 添加噪声
random_state = np.random.RandomState(0)
n_samples, n_features = X.shape
X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]
X_train, X_test, y_train, y_test = train_test_split(X[y < 2], y[y < 2], test_size=.5, random_state=random_state)

# 模型训练
classifier = LinearSVC(random_state=random_state)
classifier.fit(X_train, y_train)
y_score = classifier.decision_function(X_test)
average_precision = average_precision_score(y_test, y_score)
#其中y_test是正确标签，y_score是概率输出值，thresholds是阈值，当y_score>=thresholds，则预测为正样本，当y_score<thresholds，则预测为负样本
precision, recall, _ = precision_recall_curve(y_test, y_score)

# 绘制 P-R 图
step_kwargs = ({'step': 'post'}
               if 'step' in signature(plt.fill_between).parameters
               else {})
plt.step(recall, precision, color='b', alpha=0.2, where='post')
plt.fill_between(recall, precision, alpha=0.2, color='b', **step_kwargs)

plt.xlabel('Recall')
plt.ylabel('Precision')
plt.ylim([0.0, 1.05])
plt.xlim([0.0, 1.0])
plt.title('2-class Precision-Recall curve: AP={0:0.2f}'.format(average_precision))

在这里插入图片描述
具体代码以及 precision_recall_curve 用法可参考官方文档：

P-R 图可以用于学习器的比较：

  • 若一个学习器的 P-R 曲线被另一个学习器的 P-R 曲线完全“包住”，则可断言后者的性能优于前者。例如上图中学习器 A 的性能优于学习器 C。
  • 若两个学习器的 P-R 曲线发生了交叉，例如学习器 A 与 B，则难以一般性地断言两者孰优孰劣，只能在具体的查准率或查全率条件下进行比较。若要综合性考虑，可使用如下方法。

【交叉时的判断方法】：

  • 平衡点（Break-Even Point，简称 BEP）：查准率=查全率时的取值。BEP越大，学习器的性能越好。

    例如图2.3 中学习器C 的BEP 是0 . 64，学习器A的BEP是0.8，学习器B的BEP是0.7而基于BEP的比较，可认为学习器A 优于B 。但BEP 还是过于简化了些，更常用的是F1 度量

  • F1 度量：基于查准率与查全率的调和平均（harmonic mean）定义。
    在这里插入图片描述
    F1,是查准率和查全率的调和平均，用于综合考虑这两个性能度量。F1越大，学习器的性能越好。

    有时候我们对查准率，查全率的需求是不同的。比方说广告推荐，要尽量避免打扰用户，因此查准率更重要；而逃犯检索，因为漏检的危害很大，所以查全率更重要。这时就需要使用 F β F_\beta Fβ​了，它是F1度量的一般形式，能让我们表达出对查准率/查全率的不同好。

  • F β F_\beta Fβ​，是查准率和查全率的加权调和平均，用于综合考虑这两个性能度量，并采用不同的权重。

在这里插入图片描述

其中 β>0 度量查全率对查准率的相对重要性，

  • β等于1时 F β F_\beta Fβ​退化为F1，
  • β小于1时查准率更重要，
  • β大于1时查全率更重要。

【F1、 F β F_\beta Fβ​ 代码实现】

from sklearn.metrics import f1_score
from sklearn.metrics import fbeta_score


# 标准的 F1
print(f1_score(target_test, model.predict(data_test), average='weighted'))
# 输出：0.93995

#  Fβ
print(fbeta_score(target_test, model.predict(data_test), beta=1, average='weighted'))
# 输出：0.93995，可以看到 beta = 1 时，Fb 退化为标准 F1

print(fbeta_score(target_test, model.predict(data_test), beta=2, average='weighted'))
# 输出：0.939859 查全率有更大影响

print(fbeta_score(target_test, model.predict(data_test), beta=0.5, average='weighted'))
# 输出：0.940415 查准率有更大影响

很多时候我们有多个二分类混淆矩阵（鸢尾花数据集就是一个多分类问题，因此上述代码实现中需要添加 average 参数），例如需要进行多次训练/测试，每次得到一个混淆矩阵；或是在多个数据集上进行训练/测试，希望估计算法的“全局”性能，甚或是执行多分类任务，每两两类别的组合都对应一个混淆矩阵。总之，希望在 n 个二分类混淆矩阵上综合考察查准率和查全率。

【做法 1】：
1、在各混淆矩阵上分别计算出查准率和查全率，记为 ( P 1 , R 1 ) , ( P 2 , R 2 ) , . . . , ( P n , R n ) (P_1,R_1),(P_2,R_2),...,(P_n,R_n) (P1​,R1​),(P2​,R2​),...,(Pn​,Rn​)。
2、计算平均值。
3、得到宏查准率（macro-P）、宏查全率（macro-R）以及相应的宏F1（macro-F1）。
在这里插入图片描述
【代码实现】

print(f1_score(target_test, model.predict(data_test), average='macro'))
# 输出：0.9444

【做法 2】：

1、将各混淆矩阵的对应元素进行平均，得到 TP、FP、TN、FN 的平均值，分别记为
在这里插入图片描述
2、基于上述平均值计算出微查准率（micro-P）、微查全率（micro-R）和微F1（micro-F1）

在这里插入图片描述

print(f1_score(target_test, model.predict(data_test), average='micro'))
# 输出：0.94

关于 F1 和 Fbeta 的更多用法请参考官方文档：

3、ROC 与 AUC

\quad \quad 很多学习器是为测试样本产生一个实值或概率预测，然后将这个预测值与一个分类阈值进行比较，若大于阈值则分为正类，否则为反类（如神经网络）。这个实值或概率预测结果的好坏，直接决定了学习器的泛化能力。

\quad \quad 实际上，根据这个实值或概率预测结果，我们可将测试样本进行排序:最可能是正例的排前面，最不能是正例的排后面。这样分类过程就像是在这个序列中以某个截断点（cut point）把样本分成两部分：前一部分判作正例，后一部分则判作反例。我们需要根据任务需求来设置截断点。比如广告推荐更重视查准率，可能就会把截断点设置得更靠前。

在不同的应用任务中，可根据任务需求来采用不同的截断点。

  • 若更重视查准率：选择排序中靠前的位置进行截断。
  • 若更重视查全率：选择排序中靠后的位置进行截断。

ROC 曲线基于借助排序本身质量好坏来体现综合考虑学习器在不同任务下的“期望泛化性能”的好坏角度出发，研究学习器泛化性能的有力工具。

ROC 全称是“受试者工作特征”（Receiver Operating Characteristic）曲线。根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值：假正例率、真正例率，分别以它们为横、纵坐标作图。仍然以二分类混淆矩阵为例：

真实情况预测结果预测结果
正例反例
正例TP（真正例）FN（假反例
反例FP（假正例）TN（真反例）

  • 纵轴：真正例率（True Positive Rate，简称 TPR）。

    在这里插入图片描述

  • 横轴：假正例率（False Positive Rate，简称 FPR）。
    在这里插入图片描述
    TPR其实就等于召回率。在绘制ROC曲线时，纵轴为TPR，横轴为FPR。首先按预测值对样本进行排序，然后按序逐个把样本预测为正例，并计算此时的TPR和FPR，然后在图上画出该点，并与前一个点连线。如下图：
    在这里插入图片描述

  • 经过 (0,1) 点的曲线，这代表所有正例都在反例之前出现（否则会先出现假正例从而无法经过 (0,1) 点），这是一个理想模型，我们可以设置一个阈值，完美地分割开正例和反例。

  • 对角线，这对应于随机猜测模型，可以理解为真正例和假正例轮换出现，即每预测对一次接下来就预测错一次，可以看作是随机猜测的结果。

  • 现实任务中通常是利用有限个测试样例来绘制 ROC 图，此时仅能获得有限个坐标对，无法产生平滑的 ROC 曲线如图a。

【绘图过程】：给定 m + m^+ m+个正例和 m − m^- m− 个反例，根据学习器预测结果对样例进行排序，然后把分类阈值设为最大，即把所有样例均预测为反例，此时真正例率和假正例率均为 0，在坐标 (0, 0) 处标记一个点，然后，将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例。设前一个标记点坐标为 (x, y)，当前若为真正例，则对应标记点的坐标为 ( x , y + 1 m + ) (x, y+\frac{1}{m^+}) (x,y+m+1​)；若为假正例，则对应标记点的坐标为 ( x + 1 m − , y ) (x+\frac{1}{m^-}, y) (x+m−1​,y)，然后用线段连接相邻点即得。
如下例：

样本序号真实标签预测正类概率样本序号真实标签预测正类概率
1P0.911P0.4
2P0.812N0.39
3N0.713P0.38
4P0.614N0.37
5P0.515N0.36
6P0.5516N0.35
7N0.5417P0.34
8N0.5318N0.33
9P0.5219P0.3
10N0.5120N0.1

m + m^+ m+ = 10， m − m^- m− = 10，按照绘图过程的步骤，首先将所有样例都预测为反例，则在坐标 (0, 0) 处标记一个点。然后判断第一个样本，将分类阈值设置为当前样本的预测值，即 0.9，同时将该样本当做正例，而恰好当前样本的真实标签是正例，也就是说当前样本属于真正例，那么当前标记点的坐标为 (0, 0 + 1/10) = (0, 0.1)。同理，第二个样本也为真正例，所以坐标为 (0, 0.1 + 1/10) = (0, 0.2)。第三个样本为假正例，故而坐标为 (0 + 1/10, 0.2) = (0.1, 0.2)。依次循环，直到将所有样本的坐标点都计算完毕后，我们根据这些坐标点即可将 ROC 曲线绘制出来，见下图。

在这里插入图片描述
ROC 曲线与 P-R 曲线一样，也可以用来比较不同的学习器：

  • 若一个学习器的 ROC 曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者。
  • 若两个学习器的 ROC 曲线发生交叉，则难以一般性地断言两者孰优孰劣。此时如果一定要进行比较，则较为合理的判据是比较 ROC 曲线下的面积，即 AUC（Area Under ROC Curve）。

【AUC】：AUC 指的是 ROC 曲线下的面积大小，该值能够量化地反映基于 ROC 曲线衡量出的模型性能。假定 ROC 曲线是由坐标为 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) (x_1,y_1),(x_2,y_2),...,(x_m,y_m) (x1​,y1​),(x2​,y2​),...,(xm​,ym​)} 的点按序连接而形成 ( x 1 = 0 , x m = 1 ) (x_1=0,x_m=1) (x1​=0,xm​=1)如图b，则 AUC 可估算为

在这里插入图片描述
需要注意的是 roc_curve 同 precision_recall_curve，都只能用于二分类问题，但 sklearn 的 roc_auc_score() 方法支持计算多分类问题的 auc 面积。

关于 auc、roc_curve 以及 roc_auc_score 的用法请参考官方文档：

4、代价敏感错误率与代价曲线

现实任务中，有时会遇到不同类型错误造成后果不同的状况。例如在医疗诊断中，错误地把患者诊断为健康人与错误地把健康人诊断为患者，看起来都是犯了"一次错误"但后者的影响是增加了进→步检查的麻烦，前者的后果却可能是丧失了拯救生命的最佳时机；再如，门禁系统错误地把可通行人员拦在门外，将使得用户体验不佳，但错误地把陌生人放进门内，则会造成严重的安全事故。为权衡不同类型错误带来的不同损失，可以为这些错误类型赋以非均等代价（unequal cost）。
以二分类任务为例，可以根据任务的领域知识来设定一个代价矩阵（cost matrix）:

真实类别预测类别 第0类第1类
第0类0 c o s t 01 cost_{01} cost01​
第1类 c o s t 10 cost_{10} cost10​0

其中， c o s t i j cost_{ij} costij​表示将第i类样本预测为第j类样本的代价。
预测值与真实值相等时，自然错误代价为0。但把第0类错预测为第1类和把第1类错预测为第0类这两种错误的代价是不同的。注意，重要的不是代价在数值上的大小，而是它们的比值。比方说
c o s t 01 c o s t 10 > 1 \frac{cost_{01}}{cost_{10}}>1 cost10​cost01​​>1, 这就说明把第0类错预测为第1类的代价更高。

使用了非均等代价之后，我们在使用性能度量时自然也需要作出相应的改变，比方说代价敏感（cost-sensitive） 版本的错误率，令 D + D^+ D+、 D − D^- D−分别代表样例集D的正例子集和反例子集，则代价敏感错误率为：

在这里插入图片描述
由于ROC曲线不能反应使用非均等代价之后的期望总体代价，所以改用代价曲线（cost curve） 来取替。

代价曲线图：

横轴是取值为[0,1]的正例概率代价：
P ( + ) c o s t = p ∗ c o s t 01 p ∗ c o s t 01 + ( 1 − p ) ∗ c o s t 10 P(+)cost=\frac{p*cost_{01}}{p*cost_{01}+(1-p)*cost_{10}} P(+)cost=p∗cost01​+(1−p)∗cost10​p∗cost01​​

其中p是样例为正例的概率。

纵轴是取值为[0,1]的归一化代价（将代价映射到 [0,1] 区间）

c o s t n o r m = F N R ∗ p ∗ c o s t 01 + F P R ∗ ( 1 − p ) ∗ c o s t 10 p ∗ c o s t 01 + ( 1 − p ) ∗ c o s t 10 cost_{norm}=\frac{FNR*p*cost_{01}+FPR*(1-p)*cost_{10}}{p*cost_{01}+(1-p)*cost_{10}} costnorm​=p∗cost01​+(1−p)∗cost10​FNR∗p∗cost01​+FPR∗(1−p)∗cost10​​

其中FPR是假正例率，FNR=1-TPR。

画法类似于ROC曲线，它是将ROC曲线的每一个点转为图中的一条线。依次计算出ROC曲线每个点对应的FPR和FNR，然后把点 (0,FPR) 和点 (1,FNR) 连线。最终所得的图中，所有线的下界所围成的面积就是该模型的期望总体代价。

在这里插入图片描述

5、分类报告

\quad \quad scikit-learn 中提供了一个非常方便的工具，可以给出对分类问题的评估报告，Classification_report() 方法能够给出精确率（precision）、召回率（recall）、F1 值（F1-score）和样本数目（support）。

from sklearn.metrics import classification_report


print(classification_report(target_test, model.predict(data_test)))
# 输出：
            precision    recall     f1-score   support

           0       1.00      1.00      1.00        14
           1       0.94      0.89      0.91        18
           2       0.89      0.94      0.92        18

   micro avg       0.94      0.94      0.94        50
   macro avg       0.95      0.94      0.94        50
weighted avg       0.94      0.94      0.94        50

因此，我们在处理多分类问题时，不妨先找一个处理速度最快的模型，然后用分类报告查看一下查准率、查全率、f1 值等信息，以便为后续的优化做一个基准。

总结
\quad \quad 错误率、精度、查准率、查全率、混淆矩阵以及分类报告都可以用于单个模型的性能度量评估，P-R 曲线以及 ROC 也可以用于单个模型的性能度量评估，但更多的是用作多个模型的直观对比。我们把多个模型的 P-R 曲线或 ROC 曲线绘制出来，然后通过上述所讲的比较方法，就可以轻松地选出最优的模型。因此，我个人认为 P-R 曲线和 ROC 曲线一方面是为了查准率和查全率服务，另一面用于多个模型的性能对比。
在这里插入图片描述
参考资料：
1、《机器学习》，周志华 著。即西瓜书。
2、南瓜书，是西瓜书的辅助，对西瓜书的一些公式的推导进行进行了一些详解。
3、sklearn 度量官方文档
4、https://blog.csdn.net/weixin_43378396/article/details/90695013

珞沫
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习之模型性能度量
weixin_41673190的博客
06-22 427
对机器学习的泛化性能进行评估，不仅需要切实可行的实验估计方法，还要有衡量模型泛化能力的评价标准，即性能度量。它反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果；因此，模型的选择与性能的好坏不仅取决于算法和数据，还取决于任务的需求。 一般，对于回归任务来说，性能度量有“均方误差”，那对于分类任务来说，性能度量有错误率和精度；查准率（准确率）、查全率（召回率）...
【学习机器学习】实验——模型评估与选择
12-21
【学习机器学习】模型评估与选择 这学期的课很多都要实验啊，不过机器学习真的可以算其中比较离谱的了，不说当堂上交，就这个任务量也属实有点多。其实要到4月3号才是我们班做，提前找其他班同学要到了先用python写...
【机器学习】模型选择（性能度量）原理及实战
fengdu78的博客
07-21 498
0.概述模型的好坏是相对的。什么样的模型是好的，即取决于算法和数据，也取决于任务需求。1. 回归任务的性能度量均方误差均方误差是回归任务最常用的性能度量，表示预测值和实际值之间的误差。2. 分类任务的性能度量真实情况预测结果正例反例正例TP(真正例)FN(假反例)反例FP(假正例)TN(真反例)精度：分类正确的样本占总样本的比例 TP+FN/总例数查准率：预测正确的样本中...
机器学习——2.模型评估与选择
大墅哥哥的博客
08-17 778
文章目录1. 误差与拟合1.1 误差1.2 训练误差与测试误差1.3 过拟合（overfitting）和欠拟合（underfitting）2.模型选择2.1 正则化（regularization）2.2 留出法（hold-out）2.3 交叉验证法（cross validation）2.4 自助法（bootstrapping）3.性能度量3.1 [机器学习中分类任务的性能度量](https://blog.csdn.net/weixin_43532000/article/details/104995734)3
深入理解机器学习——机器学习模型的性能度量
热门推荐
冯·诺依曼
04-05 1万+
对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量（performance measure）。 性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果；这意味着模型的“好坏”是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。 在预测任务中，给定样例集D={(x1,y1),(x2,y2),⋯ ,(xm,ym)}D=\{(x_1, y_1), (x_2, y_2), \cdots, (x_m, y
机器学习：模型评估与性能度量总结
qq_24394635的博客
12-20 3045
#1、常见术语说明 过拟合：模型由于学习的“太好”，在训练集上表现很好（训练误差小），而在新样本上表现很差（泛化误差大）。 欠拟合：与过拟合相对的概念，模型对训练集还没有完全学习好，在训练集上就表现不好（训练误差大）。 误差：模型预测值与真实值之间的差异。 训练误差（经验误差）：模型在训练集上的误差。 泛化误差：模型在新样本上的误差。 #2、模型评估方法 利用训练样本（“训练集”）之外的测试样本（...
机器学习——模型评估与选择思维导图
11-26
机器学习——模型评估与选择思维导图
Python机器学习与实践——简介篇
02-25
回去之后反省了一下，有段时间没看机器学习的东西了，nlp要抓，机器学习也要学。开个坑，记录和分享一下学习内容（书籍为《python机器学习及实践》）。1959年，美国的前IBM员工塞缪尔开发了一个西洋棋程序，这个程序...
视频学习笔记——李宏毅机器学习——P1，2
09-12
此为datawhale组队学习（李宏毅机器学习）学习笔记 是看视频做的原创笔记 此为第一天打卡
周志华《机器学习》学习笔记(2)——性能度量
CristianoC
07-22 396
说是学习笔记二，其实上一次的介绍已经把部分第二章模型评估与选择的内容介绍了一些，这次主要是对第二章剩余知识的理解，包括：性能度量、比较检验和偏差和方差。在上一篇中，我们解决了评估学习器泛化性能的方法，即用测试集的“测试误差”作为“泛化误差“的近似，当我们划分好训练/测试集后，那如何计算”测试误差“呢？这就是性能度量，例如：均方差，错误率等，即”测试误差“的一个评价标准。有了评估方法和性能度量，就可...
【学习机器学习】实验——聚类算法性能度量
weixin_44151650的博客
06-12 1748
聚类算法性能度量前言一、实验目的二、实验内容1、变量a，b，c，d2、Jaccard系数3、闵可夫斯基距离4、avg，diam，dmin，dcen，DB指数4.1 avg（C）4.2 diam（C）4.3 dmin(C1,C2)4.4 dcen(C1,C2)4.5 DB指数5-1、VDM，无序属性处理5-2、MinkovDM，混合属性处理6、归一化三、实验结果1、abcd和Jaccard系数2、avg，diam，dmin，dcen，DB指数2.1 avg（C）2.2 diam（C）2.3 dmin(C1,C
机器学习模型性能度量详解 【Python机器学习系列（十六）】
侯小啾技术博客
09-25 3049
机器学习模型性能度量 【Python机器学习系列（十六）】1. 错误率 与 精度2. 查准率 查全率 与 F12.1 TP、FP、FN、 TN2.2 查准率 与 查全率 2.3 P-R 图 与 平衡点2.4 F1 2.5 宏查准率 & 宏查全率 & 宏F1 2.6 微查准率 & 微查全率 & 微F13. ROC与AUC4. python计算ROC,AUC4.1 二分类情形4.2 多分类情形与macro-AUC roc_auc_score() auc() roc_curve...
AI基础-模型评估
weixin_41874756的博客
03-02 823
模型评估的目的是衡量模型工作结果的好与坏，从而进一步找到不同模型之间的性能差异，优化模型。 模型评价指标 1.如何评价模型 使用损失函数，计算当前版本的模型的误差，调整参数，减少误差。 2.误差分类 测试集误差 训练及误差 泛化误差 泛化误差(generalization error)：模型在所有真实数据上的适用能力，我们无法直接得到所有真实数据，也就无法得到泛化误差，只能通过在测...
机器学习——概念理解之模型量化
itlilyer的博客
10-20 1727
模型量化 模型量化: 指为了达到减小模型大小、减小推理时内存占用和加快模型的推理速度等目的，将训练得到的连续取值的浮点数类型的权重转换为整形存储(一般值int8)。 **为什么需要量化: ** 随着深度学习的发展，模型变得越来越庞大，这就非常不利于将模型应用到一些低成本的嵌入式系统的情况。为了解决该问题，模型量化应运而生。目的就是在损失少量精度的情况下对模型进行压缩，使模型可以应用到像手机、摄像头、机器人等嵌入设备中。 ...
机器学习总结（1--模型评估与选择）
Promise11161314的博客
10-04 361
如一个二分类问题的预测结果，无非4种情况：真正例（true positive）、假正例（false positive）、真反例（true negative）与假反例（false negative），前面真假代表预测结果，后面正反代表预测对了还是错了。14.性能度量（performance measure）：对学习器的泛化性能评估，不仅需要有效的实验估计方法，还需要有衡量模型泛化能力的评价标准，即之。9.留出法（hold-out）：数据集划分为两个互斥的集合，一个作为训练集S，另一个作为测试集T。
周志华《机器学习》第二章 模型评估与选择——性能度量
jack_jay_du的博客
06-21 463
周志华《机器学习》（西瓜书）目录 https://editor.csdn.net/md?articleId=106864771 ————————————————————————————————— 性能度量 对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需 要有衡量模型泛化能力的评价标准，这就是性能度量(performance measure). 错误率与精度 查准率、查全率与F1 ROC 与 AUC 代价敏感错误率与代价曲线 数据集： 学习器：f 回归任务最常用的性能度量是"均方误差"
机器学习（二）性能度量
IMWTJ123的博客
04-14 1569
三、性能度量衡量模型泛化能力的评价标准就是性能度量。性能度量反映了任务需求。评估学习器f的性能，就是将学习器预测结果f(x)与真实标记y进行比较。“均方误差”：（2-1）1、错误率与精度错误率是分类错误的样本数占总样本数的比例，定义为：（2-2）精度是分类真确的样本数占样本总数的比例，定义为：（2-3）2、查准率、查全率1）真正例（TP）、假真例（FP）、真反例（TN）、假反例（FN），TP+FP...
机器学习
qq_35240204的博客
06-14 1258
1前序 文中的内容均来源于机器学习书籍、博客和他人的学习笔记。文中主题包括无监督性学习，监督性学习和特征工程。 文中的目录如下，后续行为均按此目录进行。 2概念 机器学习（Machine Learning）是什么？目前，业界的许多专业人士均给出了不同的点定义解释。其中，有2种定义最为著名，第一种机器学习的定义来自于50年代的Arthur Samuel。他定义机器学习为:在进...
机器学习：性能度量（详解）
weixin_43786241的博客
09-12 2499
目录简介分类错误率与精度查准率、查全率与 FlROC 与 AUC代价敏感错误率与代价曲线 简介         性能度量： 衡量模型泛化能力的评价标准（反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。模型的好坏，不仅取决于算法和数据，还决定于任务需求。）         性能度量主要分为分类任务中的和回归任务中的。 分类 错误率与精度        
机器学习：模型评估与选择：性能度量——代价敏感错误率与代价曲线
最新发布
06-09
代价敏感错误率和代价曲线是用于衡量分类模型性能的重要指标之一。 代价敏感错误率是指分类模型在不同类别的错误预测所带来的代价不同的情况下，综合考虑各类别的错误率得出的综合性能指标。在代价敏感错误率中，我们为每个类别赋予一个代价权重，这个权重可以是一个固定的值，也可以是根据实际情况动态调整的。 代价曲线是一条以分类器的阈值为横坐标，代价为纵坐标的曲线。在代价曲线中，我们可以通过调整分类器的阈值来平衡不同类别的错误率，从而得到一个较为理想的代价敏感错误率。同时，代价曲线也可以帮助我们选择最佳的分类器阈值，从而得到最佳的分类模型性能。 总之，代价敏感错误率和代价曲线是衡量分类模型性能的重要指标，可以帮助我们评估不同类别的错误率，从而得到一个更为准确的分类模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值