目录
nn.CrossEntropyLoss
loss_func = nn.CrossEntropyLoss(reduction="sum")
定义nn.CrossEntropyLoss交叉熵损失函数,reduction参数设置为"sum",表示将所有样本的损失相加。reduction 参数用于指定如何对损失进行归约,有三个可能的值:"none"、"mean" 和 "sum"。选择=“sum”,即输出损失将被求和。由于分批处理数据,因此将返回每批数据的损失值之和。
CosineAnnealingLR
lr_scheduler = CosineAnnealingLR(opt,T_max=2,eta_min=1e-5)
创建学习率调度器,T_max表示周期长度,eta_min表示最小学习率。该调度器基于cosine annealing schedule余弦退火方法来调整学习率。余弦退火学习率调整策略是一种常用的学习率调整策略,它会在训练过程中逐渐减小学习率,直到达到一个最小值。这里的学习率将从优化器设定值lr=1e-4开始,逐渐向最小值eta_min=1e-5减小,并在2*T_max=4次迭代中返回到原始设定值。