hb_learing的博客

记录一下CosineAnnealingLR调整学习率这种策略： import torch import torch.nn as nn from torch.optim.lr_scheduler import CosineAnnealingLR import itertools import matplotlib.pyplot as plt initial_lr = 0.1 class model(nn.Module): def __init__(self): super().

残差网络的由来（Resnet） 在实践中，添加过多的层后训练误差往往不降反升。即使利用批量归一化带来的数值稳定性使训练深层模型更加容易，该问题仍然存在。针对这一问题，何恺明等人提出了残差网络（ResNet）。它在2015年的ImageNet图像识别挑战赛夺魁，并深刻影响了后来的深度神经网络的设计。下面通过Fashion-MNIST数据集来了解一下Resnet网络。 普通的网络结构与加入残差连接的网络结构对比 设输入为x。假设我们希望学出的理想映射为f(x)，从而作为图最上方激活函数的输入。左图虚线框中的部.