python打卡day52@浙大疏锦行

知识点回顾：

1. 随机种子
2. 内参的初始化
3. 神经网络调参指南
   1. 参数的分类
   2. 调参的顺序
   3. 各部分参数的调整心得

神经网络调参核心实践

一、全局随机种子设置（修改 src/models/train.py ）

def set_seed(seed=42):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    np.random.seed(seed)
    random.seed(seed)
    torch.backends.cudnn.deterministic = True
    torch.backends.cudnn.benchmark = False

# 在训练开始时调用
set_seed(config.SEED)

 二、智能参数初始化（新增 src/models/initialization.py ）

def initialize_weights(m):
    if isinstance(m, nn.Conv2d):
        nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
        if m.bias is not None:
            nn.init.constant_(m.bias, 0)
    elif isinstance(m, nn.Linear):
        nn.init.xavier_uniform_(m.weight)
        nn.init.normal_(m.bias, mean=0, std=0.01)

# 在模型定义后调用
model.apply(initialize_weights)

三、系统化调参流程

# 参数优先级调优顺序
调参步骤 = [
    ('基础学习率', {'lr': [1e-3, 3e-4]}),
    ('优化器选择', {'optim': ['adam', 'sgd']}),
    ('批量大小', {'batch_size': [32, 64]}),
    ('正则化组合', {
        'weight_decay': [0, 1e-4],
        'dropout_rate': [0.2, 0.5]
    })
]

# 自适应学习率配置示例
scheduler = torch.optim.lr_scheduler.OneCycleLR(
    optimizer, 
    max_lr=config.MAX_LR,
    steps_per_epoch=len(train_loader),
    epochs=config.EPOCHS
)

调参心得
1. 参数分类 ：
   
   - 架构参数：卷积核尺寸/通道数
   - 训练参数：学习率/批量大小
   - 正则参数：Dropout率/L2系数
2. 优化顺序 ：

flowchart LR
    A[数据预处理] --> B[初始学习率]
    B --> C[优化器类型]
    C --> D[批量大小]
    D --> E[正则强度]

3.实战技巧 ：
- 使用 torch.utils.tensorboard 记录超参数实验
- 对边界层（如第一个卷积层）使用更大学习率
- 采用贝叶斯优化进行自动化超参数搜索