Evaluate 包使用记录

        训练模型时将数据划分为训练集和验证集，根据模型在验证集的性能来评价模型的好坏。任务不同，对应的评价指标也不一样，常见的指标包括Accuracy、F1、Rouge等，如果不自定义评价函数，需要安装包来支持。模型对比时还需要做假设性检验的工作。

        Evaluate包简化了上述工作，像加载数据集一样加载对应的评估函数，进行模型评估；不同任务对应不同的评价方法可查看：Tasks - Hugging Face，或命令evaluate.list_evaluation_modules("metric") 查看。

计算准确率的方法：

        accuracy_metric = evaluate.load("accuracy")
        accuracy_metric.compute(references=[0, 1, 2, 0, 1, 2], predictions=[0, 1, 1, 2, 1, 0])

计算多个指标的方法：

def compute_metrics(eval_pred) -> dict:
    preds, labels = eval_pred
    preds = np.argmax(preds, axis=-1)
    precision, recall, f1, support = precision_recall_fscore_support(labels.flatten(), preds.flatten(), average='macro', zero_division=0)
    return {
        'accuracy': (preds == eval_pred.label_ids).mean(),
        'precision': precision,
        'recall': recall,
        'f1': f1
    }

trainer = Trainer(model=model, args=training_args,
                  train_dataset=train_data_set,
                  eval_dataset=test_data_set,
                  compute_metrics=compute_metrics)

模型对比：

        使用与评估指标类似。

        exact_match：

                对比两个模型在同一数据集上预测结果的一致程度。

        mcnemar：

                配对卡方检验，衡量两个模型在同一数据集上的差异，

                输出p值，范围[0-1]，越小表示差异越明显。

参考：

1.5 Evaluate快速使用 - 知乎

Tasks - Hugging Face