机器学习的模型评估

在机器学习中，评估分类模型通常涉及多个指标，包括准确率、召回率、F1分数以及ROC和PR曲线等。以下是如何计算这些指标以及如何生成ROC和PR曲线的指导。

分类模型评估指标
准确率（Accuracy）：模型正确预测的比例。
召回率（Recall）：在所有正类中，模型正确预测的比例。
精确率（Precision）：在所有模型预测为正的样本中，正确预测的比例。
F1分数：精确率和召回率的调和平均数。
这些指标可以通过scikit-learn库的metrics模块计算。

from sklearn.metrics import accuracy_score, recall_score, precision_score, f1_score

def main():
    filename = 'hailun.txt'
    features, labels = create_dataset(filename)
    norm_features, ranges, min_vals = normalize(features)
    
    # Assuming we're using the first 10% of data as test set
    test_ratio = 0.1
    num_test = int(len(features) * test_ratio)
    test_features = norm_features[:num_test]
    test_labels = labels[:num_test]
    train_features = norm_features[num_test:]
    train_labels = labels[num_test:]
    
    # 训练并预测模型
    predictions = []
    for test_feature in test_features:
        prediction = knn_classify(test_feature, train_features, train_labels, k=3)
        predictions.append(prediction)
    predictions = np.array(predictions)
    
    # 计算评估指标
    accuracy = accuracy_score(test_labels, predictions)
    recall = recall_score(test_labels, predictions, average='weighted')
    precision = precision_score(test_labels, predictions, average='weighted')
    f1 = f1_score(test_labels, predictions, average='weighted')

    # 输出评估指标
    print(f"Accuracy: {accuracy:.2f}")
    print(f"Recall: {recall:.2f}")
    print(f"Precision: {precision:.2f}")
    print(f"F1 Score: {f1:.2f}")

if __name__ == '__main__':
    main()

定义精确率（P）与召回率（R）时，我们按照预测标签中的正面（Positive）与负面（Negative）实例，以及它们的预测准确性（True或False）来计算。需要指出的是，精确率和召回率本质上是为二分类问题设计的指标，因此它们并不直接适用于多类别的情境。这一局限性导致P-R曲线和ROC曲线主要服务于二分类评估。尽管如此，准确率是一个更通用的指标，适用于多分类问题，或者通过将多分类问题简化为一系列二分类问题来进行分析。

在理想状态下，我们希望模型的精确率和召回率都能达到最高，但实际应用中，这两者往往呈现一定的交换关系：即在提高精确率的同时，可能会牺牲一些召回率，反之亦然。

召回率的计算关注于模型相对于实际正例的识别能力，即正确预测的正例占所有实际正例的比例。例如，如果有100个实际正例，而模型仅识别出了40个，那么召回率为40%。精确率则从模型的预测结果出发，计算模型预测为正例中实际为正例的比例。假设模型预测了100个正例，其中80个确实为正例，则精确率为80%。这可以视为模型对其预测结果的置信度，或者说，模型预测正确的概率。

对于准确率和误差率，这两个指标既可以应用于二分类问题，也适用于多分类场景。二分类问题下的准确率和误差率计算公式如下：

需要注意的是，尽管精确率和准确率的名字相似，它们确有所不同。精确率专用于二分类评估，而准确率适用于包括多分类在内的更广泛场景。

最后，F1分数是精确率和召回率的调和平均值，是两者综合考虑的结果。它的计算公式为：

F1分数可以根据精确率和召回率的重要性进行加权，得到不同的F值，提供了一种灵活的评估方式。

ROC曲线和PR曲线

• ROC曲线：接收者操作特征曲线是一个图形化的分类器性能评估工具，它在假正率（False Positive Rate, FPR）和真正率（True Positive Rate, TPR）之间作图。
• PR曲线：精确率-召回率曲线则在召回率和精确率之间作图。它特别适用于数据不平衡的情形。

二者差异主要在于ROC曲线更关注正负类的分类能力，而PR曲线更关注正类的预测性能。

ROC有助于选择最佳的阈值。 ROC曲线越靠近左上角，模型的查全率（recall）就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。
可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

  绘制ROC曲线
为了绘制不同k值下的ROC曲线，你需要计算每个k值下模型的TPR和FPR，然后使用matplotlib库绘制。你可以使用scikit-learn的roc_curve函数来获取这些值。

下面的代码示例展示了如何计算一个k值的ROC曲线。要为不同的k值绘制多条ROC曲线，你可以对每个k值重复执行这段代码，并在同一个图表上绘制所有的曲线。

from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

def plot_roc_curve(labels, probabilities, k):
    fpr, tpr, thresholds = roc_curve(labels, probabilities)
    roc_auc = auc(fpr, tpr)

    plt.plot(fpr, tpr, label=f'k={k} (AUC = {roc_auc:.2f})')
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('Receiver Operating Characteristic')
    plt.legend(loc="lower right")
    
# 模拟一些数据
# probabilities = knn模型的预测概率
# labels = 真实标签

# plot_roc_curve(labels, probabilities, k=3)

# 为不同的k值绘制ROC曲线
# for k in [1, 3, 5, 7, 9]:
    # 训练模型并获取概率
    # 绘制ROC曲线
    # plot_roc_curve(labels, probabilities, k=k)

# 显示图表
# plt.show()