多分类混淆矩阵详解

⭐️ 前言

在机器学习和数据科学中，混淆矩阵（Confusion Matrix）是一个重要的工具，用于评估分类模型的性能。特别是在多分类问题中，混淆矩阵能够清晰地展示模型在每个类别上的预测结果。以下是对多分类混淆矩阵的详细解释。

⭐️ 1. 混淆矩阵的基本概念

混淆矩阵是一个N x N的矩阵（N代表类别数量），它的每一行代表一个实际类别，每一列代表一个预测类别。矩阵中的每个元素C[i][j]表示实际为第i类但被预测为第j类的样本数量。

在多分类问题中，混淆矩阵的结构如下：

真实值\预测值	Predicted: 0	Predicted: 1	…	Predicted: N-1
Actual: 0	C[0][0]	C[0][1]	…	C[0][N-1]
Actual: 1	C[1][0]	C[1][1]	…	C[1][N-1]
…	…	…	…	…
Actual: N-1	C[N-1][0]	C[N-1][1]	…	C[N-1][N-1]

⭐️ 2. 混淆矩阵中的重要指标

真正例（True Positives, TP）：实际为正例且预测为正例的样本数量，对应矩阵的对角线元素C[i][i]。

假正例（False Positives, FP）：实际为负例但预测为正例的样本数量，对应矩阵非对角线上的元素C[i][j]（i ≠ j）。

真负例（True Negatives, TN）：在多分类问题中通常不直接计算，但在二分类问题中用于表示实际为负例且预测为负例的样本数量。

假负例（False Negatives, FN）：实际为正例但预测为负例的样本数量，在多分类问题中，这通常表示被错误分类到其他类别的样本。

⭐️ 3. 从混淆矩阵计算评估指标

⭐️ 4. 使用Python计算混淆矩阵和评估指标

在Python中，我们可以使用sklearn.metrics模块来计算混淆矩阵和评估指标。以下是一个简单的示例：

from sklearn.metrics import confusion_matrix, accuracy_score, precision_score, recall_score, f1_score  
from sklearn.model_selection import train_test_split  
from sklearn.datasets import load_iris  
from sklearn.svm import SVC  
  
# 加载数据集  
iris = load_iris()  
X = iris.data  
y = iris.target  
  
# 划分数据集为训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)  
  
# 训练模型（这里使用SVM作为示例）  
clf = SVC(kernel='linear', C=1, random_state=42)  
clf.fit(X_train, y_train)  
  
# 对测试集进行预测  
y_pred = clf.predict(X_test)  
  
 # 计算混淆矩阵  
cm = confusion_matrix(y_test, y_pred)  
print("Confusion Matrix:")  
print(cm)  
  
# 计算准确率  
accuracy = accuracy_score(y_test, y_pred)  
print("Accuracy:", accuracy)  
  
# 计算每个类别的精准率、召回率和F1分数  
precision = precision_score(y_test, y_pred, average=None)  
recall = recall_score(y_test, y_pred, average=None)  
f1 = f1_score(y_test, y_pred, average=None)  

# 打印每个类别的精准率、召回率和F1分数  
print("Precision per class:", precision)  
print("Recall per class:", recall)  
print("F1 Score per class:", f1)  
  
# 如果你想获得一个全局的评估指标，可以计算它们的平均值
precision_avg = precision_score(y_test, y_pred, average='macro')  # 宏平均  
recall_avg = recall_score(y_test, y_pred, average='macro')  
f1_avg = f1_score(y_test, y_pred, average='macro')  
  
print("Macro average Precision:", precision_avg)  
print("Macro average Recall:", recall_avg)  
print("Macro average F1 Score:", f1_avg)


import seaborn as sns  
import matplotlib.pyplot as plt  
  
# 绘制混淆矩阵  
plt.figure(figsize=(10, 7))  
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')  
plt.xlabel('Predicted')  
plt.ylabel('Truth')  
plt.show()

运行结果如下

Confusion Matrix:
[[10  0  0]
 [ 0  9  0]
 [ 0  0 11]]
Accuracy: 1.0
Precision per class: [1. 1. 1.]
Recall per class: [1. 1. 1.]
F1 Score per class: [1. 1. 1.]
Macro average Precision: 1.0
Macro average Recall: 1.0
Macro average F1 Score: 1.0

混淆矩阵绘制如下

⭐️ 5. 解读混淆矩阵

在混淆矩阵中，对角线上的值（C[i][i]）越大越好，因为它们表示正确分类的样本数量。而非对角线上的值越小越好，因为它们表示错误分类的样本数量。

如果某个类别的TP值很低，而FN值很高，那么说明模型在这个类别上的召回率很低，即模型漏掉了很多这个类别的样本。相反，如果某个类别的FP值很高，而TN值（在多分类问题中不直接计算）相对较低，那么说明模型在这个类别上的精准率很低，即模型错误地将很多其他类别的样本预测为这个类别。

⭐️ 总结

混淆矩阵是评估多分类模型性能的有力工具。通过计算混淆矩阵和基于它计算出的评估指标（如准确率、精准率、召回率和F1分数），我们可以全面地了解模型在各个类别上的表现，并据此对模型进行优化。此外，混淆矩阵的可视化可以帮助我们更直观地理解模型的性能。

笔者水平有限，若有不对的地方欢迎评论指正！