T5模型在训练过程中实时计算验证集上准确度，自定义compute_metrics

T5模型不同于BERT类模型，它是一个seq2seq模型，在训练过程中预测结果实时返回的是字典长度的置信度。

将T5用于解决NLU问题时，想要在训练过程中实时监测在验证集上的准确度，也很简单，只需要添加自定义compute_metrics函数。

以下为采用transformers框架训练添加自定义compute_metrics函数的代码：

def compute_accuracy(pred):
    ## 1.处理 pred.predictions
    # 每个样本的预测结果为vocab大小
    predict_res = torch.Tensor(pred.predictions[0]) # size：[验证集样本量, label的token长度, vocab大小]
    pred_ids = predict_res.argmax(dim=2)

    ## 2.处理 pred.label_ids
    labels_actual = torch.LongTensor(pred.label_ids)
    
    ## 3.计算accuracy
    total_num = labels_actual.shape[0]
    acc = torch.sum(torch.all(torch.eq(pred_ids, labels_actual), dim=1))/total_num
    return {'accuracy': acc}

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    compute_metrics=compute_accuracy # 添加自定义compute_metrics
)

推荐使用wandb监控训练状态，实时可见此自定义accuracy