detectron2官方tutorials翻译-Evaluation

Evaluation

评估是一个接受一些输入/输出对并计算相应指标的过程。你可以直接使用模型，并手动解析输入输出来评估性能。detectron2也提供了一个评估接口DatasetEvaluator。

detectron2包含了一些计算标准数据集评估指标的DatasetEvaluator（例如COCO，LSVT等）。你也可以实现你自己的DatasetEvaluator来完成其他的一些评估任务。例如，统计验证集中实例的个数：

class Counter(DatasetEvaluator):
    def reset(self):
        self.count = 0
    def process(self, inputs, outputs):
        self.count += len(output["instances"])
    def evaluate(self):
        return {"count": self.count}

Use evaluators

使用以下方法来手动进行评估器的使用：

def get_all_inputs_outputs():
    for data in data_loader:
        yield data, model(data)
evaluator.reset()
for inputs, outputs in get_all_outputs():
    evaluator.process(inputs, outputs)
eval_results = evaluator.evaluate()

也可以通过inference_on_dataset来使用评估器，例如：

eval_results = interence_on_dataset(
    model,
    data_loader,
    DatasetEvaluators([COCOEvaluator(), Counter()])
)

这将会在dataloader的所有输入执行模型推理，并 应用评估器来进行评估。

与手动运行评估器相比，这个方法的优势是通过这个方法，应用的所有评估器能够被合并，并且能够在一次推理过程中完成所有评估。对于给定的模型，它也能够提供准确和速度的评估基准。

Evaluators for custom dataset

detectron2中的很多评估器是针对特定数据集的。为了得到指标，需要使用每个数据集的官方API。为了补充其他，两个评估器用来评估任意遵守detectron2的标准数据格式的通用数据集standard dataset format。因此他们能够被用来评估自定义数据集。

- COCOEvaluator：能够评估任意数据集的AP，实例分割，关键点检测。

- SemSegEvaluator：能够评估任意数据集的语义分割评价指标。