在机器学习中,评估分类模型通常涉及多个指标,包括准确率、召回率、F1分数以及ROC和PR曲线等。以下是如何计算这些指标以及如何生成ROC和PR曲线的指导。
分类模型评估指标
准确率(Accuracy):模型正确预测的比例。
召回率(Recall):在所有正类中,模型正确预测的比例。
精确率(Precision):在所有模型预测为正的样本中,正确预测的比例。
F1分数:精确率和召回率的调和平均数。
这些指标可以通过scikit-learn库的metrics模块计算。
from sklearn.metrics import accuracy_score, recall_score, precision_score, f1_score
def main():
filename = 'hailun.txt'
features, labels = create_dataset(filename)
norm_features, ranges, min_vals = normalize(features)
# Assuming we're using the first 10% of data as test set
test_ratio = 0.1
num_test = int(len(features) * test_ratio)
test_features = norm_features[:num_test]
test_labels = labels[:num_test]
train_features = norm_features[num_test:]
train_labels = labels[num_test:]
# 训练并预测模型
predictions = []
for test_feature in test_features:
prediction = knn_classify(test_feature, train_features, train_labels, k=3)
predictions.append(prediction)
predictions = np.array(predictions)
# 计算评估指标
accuracy = accuracy_score(test_labels, predictions)
recall = recall_score(test_labels, predictions, average='weighted')
precision = precision_score(test_labels, predictions, average='weighted')
f1 = f1_score(test_labels, predictions, average='weighted')
# 输出评估指标
print(f"Accuracy: {accuracy:.2f}")
print(f"Recall: {recall:.2f}")
print(f"Precision: {precision:.2f}")
print(f"F1 Score: {f1:.2f}")
if __name__ == '__main__':
main()
定义精确率(P)与召回率(R)时,我们按照预测标签中的正面(Positive)与负面(Negative)实例,以及它们的预测准确性(True或False)来计算。需要指出的是,精确率和召回率本质上是为二分类问题设计的指标,因此它们并不直接适用于多类别的情境。这一局限性导致P-R曲线和ROC曲线主要服务于二分类评估。尽管如此,准确率是一个更通用的指标,适用于多分类问题,或者通过将多分类问题简化为一系列二分类问题来进行分析。
在理想状态下,我们希望模型的精确率和召回率都能达到最高,但实际应用中,这两者往往呈现一定的交换关系:即在提高精确率的同时,可能会牺牲一些召回率,反之亦然。
召回率的计算关注于模型相对于实际正例的识别能力,即正确预测的正例占所有实际正例的比例。例如,如果有100个实际正例,而模型仅识别出了40个,那么召回率为40%。精确率则从模型的预测结果出发,计算模型预测为正例中实际为正例的比例。假设模型预测了100个正例,其中80个确实为正例,则精确率为80%。这可以视为模型对其预测结果的置信度,或者说,模型预测正确的概率。
对于准确率和误差率,这两个指标既可以应用于二分类问题,也适用于多分类场景。二分类问题下的准确率和误差率计算公式如下:
需要注意的是,尽管精确率和准确率的名字相似,它们确有所不同。精确率专用于二分类评估,而准确率适用于包括多分类在内的更广泛场景。
最后,F1分数是精确率和召回率的调和平均值,是两者综合考虑的结果。它的计算公式为:
F1分数可以根据精确率和召回率的重要性进行加权,得到不同的F值,提供了一种灵活的评估方式。
ROC曲线和PR曲线
- ROC曲线:接收者操作特征曲线是一个图形化的分类器性能评估工具,它在假正率(False Positive Rate, FPR)和真正率(True Positive Rate, TPR)之间作图。
- PR曲线:精确率-召回率曲线则在召回率和精确率之间作图。它特别适用于数据不平衡的情形。
二者差异主要在于ROC曲线更关注正负类的分类能力,而PR曲线更关注正类的预测性能。
ROC有助于选择最佳的阈值。 ROC曲线越靠近左上角,模型的查全率(recall)就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值,其假正例和假反例总数最少。
可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中,直观地鉴别优劣,靠近左上角的ROC曲所代表的学习器准确性最高。
绘制ROC曲线
为了绘制不同k值下的ROC曲线,你需要计算每个k值下模型的TPR和FPR,然后使用matplotlib库绘制。你可以使用scikit-learn的roc_curve函数来获取这些值。
下面的代码示例展示了如何计算一个k值的ROC曲线。要为不同的k值绘制多条ROC曲线,你可以对每个k值重复执行这段代码,并在同一个图表上绘制所有的曲线。
from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt
def plot_roc_curve(labels, probabilities, k):
fpr, tpr, thresholds = roc_curve(labels, probabilities)
roc_auc = auc(fpr, tpr)
plt.plot(fpr, tpr, label=f'k={k} (AUC = {roc_auc:.2f})')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
# 模拟一些数据
# probabilities = knn模型的预测概率
# labels = 真实标签
# plot_roc_curve(labels, probabilities, k=3)
# 为不同的k值绘制ROC曲线
# for k in [1, 3, 5, 7, 9]:
# 训练模型并获取概率
# 绘制ROC曲线
# plot_roc_curve(labels, probabilities, k=k)
# 显示图表
# plt.show()