skorch项目深度解析：神经网络模型的自定义与扩展指南

skorch项目深度解析：神经网络模型的自定义与扩展指南

skorch 项目地址: https://gitcode.com/gh_mirrors/sko/skorch

概述

skorch是一个将PyTorch与scikit-learn无缝集成的Python库，它提供了简单易用的接口来训练神经网络模型。本文将深入探讨如何在skorch中进行高级自定义，帮助开发者根据特定需求扩展和修改神经网络行为。

基础自定义方法

get_*方法系列

skorch提供了一系列以get_*开头的方法，这些方法是进行自定义的理想切入点：

1. get_loss - 计算损失函数
2. get_dataset - 获取数据集
3. get_iterator - 获取数据迭代器

这些方法通常可以安全地重写，只要保持与原始方法相同的签名即可。例如，我们可以通过重写get_loss方法来实现L1正则化：

class RegularizedNet(NeuralNet):
    def __init__(self, *args, lambda1=0.01, **kwargs):
        super().__init__(*args, **kwargs)
        self.lambda1 = lambda1

    def get_loss(self, y_pred, y_true, X=None, training=False):
        loss = super().get_loss(y_pred, y_true, X=X, training=training)
        loss += self.lambda1 * sum([w.abs().sum() for w in self.module_.parameters()])
        return loss

注意：此示例也正则化了偏置项，这在大多数情况下是不必要的。

训练与验证流程定制

关键可定制方法

1. train_step_single - 执行单次训练步骤

   • 接收当前批次数据和fit_params
   • 应返回包含loss和y_pred的字典
   • 适合处理非标准数据或特殊调用方式

2. train_step - 定义完整的训练过程

   • 处理优化器闭包
   • 适合实现梯度累积等特殊训练流程

3. validation_step - 验证数据上的预测和损失计算

   • 通常需要与train_step_single保持同步修改

4. evaluation_step - 推理阶段的行为

   • 影响forward和predict方法
   • 可区分训练和预测阶段的行为

不建议修改的方法

以下方法通常不应被重写，因为它们处理重要的内部逻辑：

• fit
• partial_fit
• fit_loop
• run_single_epoch

模型初始化与自定义组件

初始化流程

initialize方法负责初始化所有组件，它会调用特定的初始化方法：

• initialize_module - 初始化主模型
• initialize_optimizer - 初始化优化器

遵循scikit-learn约定，初始化后的组件应添加下划线后缀（如module_）。

添加自定义组件

在skorch中添加自定义模块、损失函数和优化器时，它们将获得"一等公民"待遇：

1. 自动处理参数传递
2. 自动设备移动
3. 正确设置训练/评估模式
4. 支持参数更新时的重新初始化
5. 支持双下划线参数传递语法

模块与损失函数的区别

虽然两者都是torch.nn.Module子类，但有以下区别：

• 模块输出：用于生成预测，由predict返回
• 损失函数输出：应为标量，用于计算损失

自定义组件指南

1. 在相应的initialize_*方法中初始化
2. 可学习参数应为torch.nn.Module实例
3. 属性名以下划线结尾
4. 使用get_params_for获取构造参数

完整示例

class MyNet(NeuralNet):
    def initialize_module(self):
        super().initialize_module()
        params = self.get_params_for('module2')
        self.module2_ = Module2(**params)
        return self

    def initialize_criterion(self):
        super().initialize_criterion()
        params = self.get_params_for('other_criterion')
        self.other_criterion_ = nn.BCELoss(**params)
        return self

    def initialize_optimizer(self):
        named_params = self.module_.named_parameters()
        args, kwargs = self.get_params_for_optimizer('optimizer', named_params)
        self.optimizer_ = self.optimizer(*args, **kwargs)
        
        named_params = self.module2_.named_parameters()
        args, kwargs = self.get_params_for_optimizer('optimizer2', named_params)
        self.optimizer2_ = torch.optim.SGD(*args, **kwargs)
        return self

总结

skorch提供了灵活的自定义机制，允许开发者根据具体需求扩展神经网络行为。通过合理使用本文介绍的自定义方法，可以实现从简单的正则化到复杂的多模型训练流程等各种高级功能。记住遵循skorch的设计模式，可以确保自定义组件与库的其他功能无缝集成。

skorch 项目地址: https://gitcode.com/gh_mirrors/sko/skorch