混淆矩阵——矩阵可视化

相关文章

• 混淆矩阵——评估指标计算
• 混淆矩阵——评估指标可视化

import numpy as np
import seaborn as sns
import tensorflow as tf
from matplotlib import pyplot as plt
from sklearn.metrics import confusion_matrix

正例 and 负例

在二分类中

正例是指在分类问题中，被标记为目标类别的样本。在二分类问题中，正例（Positive）代表我们感兴趣的目标，而另一个类别定义为反例（Negative）

举个栗子🌰，我们要区分苹果🍎和凤梨🍐。我们想要的是苹果，在这种情况下，我们将苹果定义为正例，凤梨则为反例

当我们使用构建的模型对苹果和梨分类时

• 被分类的是🍎（正例），如果模型分类对了，那就是真正例（TP）
• 被分类的是🍎（正例），如果模型分类错了，那就是假正例（FP）
• 被分类的是🍐（反例），如果模型分类对了，那就是真反例（TN）
• 被分类的是🍐（反例），如果模型分类错了，那就是假正例（FN）

T/F表示是否被分类正确，P/N表示是正例 or 反例

在多分类中

还是大差不差，但在多分类中要看我们进行分类的对象了（👏👏此对象非彼对象！！！）

举个栗子🌰，我们要区分苹果🍎、凤梨🍐和橘子🍊

• 当对象为苹果🍎，也就是说我们想要的是苹果时，在这种情况下，苹果为正例，其他的（凤梨、橘子）则为反例
  • 被分类的是🍎（正例），如果模型分类正确，那就是真正例（TP）
  • 被分类的是🍎（正例），如果模型分类错误，那就是假正例（FP）
  • 被分类的是🍐|🍊（反例），如果模型分类正确，那就是真反例（TN）
  • 被分类的是🍐|🍊（反例），如果模型分类错误，那就是假正例（FN）
• 当对象为凤梨🍐，也就是说我们想要的是凤梨时，在这种情况下，凤梨为正例，其他的（苹果、橘子）则为反例
  • 被分类的是🍐（正例），如果模型分类正确，那就是真正例（TP）
  • 被分类的是🍐（正例），如果模型分类错误，那就是假正例（FP）
  • 被分类的是🍎|🍊（反例），如果模型分类正确，那就是真反例（TN）
  • 被分类的是🍎|🍊（反例），如果模型分类错误，那就是假正例（FN）
• 当对象为橘子🍊，也就是说我们想要的是橘子时，在这种情况下，橘子为正例，其他的（苹果、凤梨）则为反例
  • 被分类的是🍊（正例），如果模型分类正确，那就是真正例（TP）
  • 被分类的是🍊（正例），如果模型分类错误，那就是假正例（FP）
  • 被分类的是🍎|🍐（反例），如果模型分类正确，那就是真反例（TN）
  • 被分类的是🍎|🍐（反例），如果模型分类错误，那就是假正例（FN）

总而言之，言而总之，在对分类中要计算 TP、FP、TN、FN 要将每一个类别作为对象依次计算。倘若可以得到混淆矩阵，就犹如有手握屠龙宝刀方便多了

那混淆矩阵是啥子嘛

通过将模型的预测结果与真实标签进行比较，可以得出混淆矩阵（Confusion Matrix）。以帮助我们了解模型在不同类别上的分类情况，根据混淆矩阵我们可以计算出真正例（True Positive, TP）、真反例（True Negative, TN）、假正例（False Positive, FP）和假反例（False Negative, FN）。进而计算出准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1值（F1 Score）

cm = [[50, 0, 1, 3],
      [0, 60, 0, 1],
      [2, 4, 29, 0],
      [4, 4, 1, 57]]
classes = ['cat', 'dog', 'pig', 'bird']
sns.heatmap(data=cm, annot=True,
            xticklabels=classes,
            yticklabels=classes,
            cmap='GnBu')
plt.xlabel('Pred')
plt.ylabel('True')
plt.title('Confusion Matrix')
plt.show()

诸君且看，这张便是混淆矩阵的可视化图。X轴是模型的预测结果，Y轴是正确标签。每一个单元标注了预测正确的数量，笔者的看图方式是，从左到右一列一列竖着看。

cat 的[50, 0, 2, 4]列，即此时的对象为 cat ，正例为 cat

• 与Y轴的正确标签相比，预测结果与正确标签对应上的是是50个，故TP=50
• 此时正例为 cat，而剩下的[0, 2, 4]为预测错误的，故FP=0+2+4=6
• cat 列[50, 0, 2, 4]已经看完了，剩下的都是反例了。反例中，预测对的就是那几个颜色深的[60, 29, 57]（当然，cat 列里的50不算，因为这是正例） ,故TN=60+29+57=146
• 至此，TP、FP、TN都已计算出，而FN就是矩阵内数值总和减去TP、FP、TN这三。故FN=216-50-6-146=14

对于 cat 而言，TP=50、FP=6、TN=146、FN=14

混淆矩阵计算

sklearn.metrics.confusion_matrix 计算

cm = confusion_matrix(y_true=true, y_pred=pred)
print(cm)