PyTorch Ignite 中的 Metrics 模块详解-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00256/article/details/148523716

PyTorch Ignite 中的 Metrics 模块详解

ignite High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently. 项目地址: https://gitcode.com/gh_mirrors/ign/ignite

什么是 Metrics 模块

在 PyTorch Ignite 项目中，Metrics 模块提供了一种在线计算模型各种性能指标的方法，无需存储模型的全部输出历史。这对于深度学习模型的训练和评估过程非常有用，特别是当我们需要跟踪多个指标时。

Metrics 的核心工作机制

Metrics 模块基于三个核心方法实现其功能：

reset() - 重置内部变量和累加器
update() - 使用提供的批次输出更新内部状态
compute() - 计算并返回最终的指标值

这种设计使得指标计算可以高效地进行，同时保持内存使用的最小化。

如何将 Metrics 附加到 Engine

要将指标附加到 Engine 上，可以使用 attach 方法。这种方法会自动将指标的计算与 Engine 的事件循环绑定：

from ignite.engine import Engine
from ignite.metrics import Accuracy

def process_function(engine, batch):
    # 模型处理逻辑
    return y_pred, y

engine = Engine(process_function)
metric = Accuracy()
metric.attach(engine, "accuracy")

# 运行引擎并获取结果
state = engine.run(data)
print(f"Accuracy: {state.metrics['accuracy']}")

如果模型的输出格式不是标准的 (y_pred, y)，可以使用 output_transform 参数进行转换：

def output_transform(output):
    y_pred = output['y_pred']
    y = output['y_true']
    return y_pred, y

metric = Accuracy(output_transform=output_transform)

直接使用 Metrics API

除了附加到 Engine 的方式，也可以直接调用 Metrics 的 API：

from ignite.metrics import Precision

precision = Precision()

# 累积数据
for x, y in data:
    y_pred = model(x)
    precision.update((y_pred, y))

# 计算结果
print("Precision: ", precision.compute())

# 重置指标
precision.reset()

这种方式提供了更大的灵活性，适合需要自定义计算流程的场景。

指标运算

Ignite 的 Metrics 支持各种数学运算，可以组合多个指标创建新的复合指标：

from ignite.metrics import Precision, Recall

precision = Precision(average=False)
recall = Recall(average=False)
F1 = (precision * recall * 2 / (precision + recall)).mean()

指标还支持索引操作，这在处理多分类问题时特别有用：

from ignite.metrics import ConfusionMatrix

cm = ConfusionMatrix(num_classes=10)
iou_metric = IoU(cm)
iou_no_bg_metric = iou_metric[:9]  # 假设背景类别索引为9
mean_iou_no_bg_metric = iou_no_bg_metric.mean()

创建自定义指标

要创建自定义指标，需要继承 Metric 类并实现三个核心方法：

from ignite.metrics import Metric
from ignite.exceptions import NotComputableError
from ignite.metrics.metric import sync_all_reduce, reinit__is_reduced

class CustomAccuracy(Metric):
    def __init__(self, ignored_class, output_transform=lambda x: x, device="cpu"):
        self.ignored_class = ignored_class
        self._num_correct = None
        self._num_examples = None
        super(CustomAccuracy, self).__init__(output_transform=output_transform, device=device)

    @reinit__is_reduced
    def reset(self):
        self._num_correct = torch.tensor(0, device=self._device)
        self._num_examples = 0

    @reinit__is_reduced
    def update(self, output):
        y_pred, y = output[0].detach(), output[1].detach()
        indices = torch.argmax(y_pred, dim=1)
        mask = (y != self.ignored_class)
        mask &= (indices != self.ignored_class)
        y = y[mask]
        indices = indices[mask]
        correct = torch.eq(indices, y).view(-1)
        self._num_correct += torch.sum(correct).to(self._device)
        self._num_examples += correct.shape[0]

    @sync_all_reduce("_num_examples", "_num_correct:SUM")
    def compute(self):
        if self._num_examples == 0:
            raise NotComputableError('CustomAccuracy must have at least one example before it can be computed.')
        return self._num_correct.item() / self._num_examples