深度学习基础----标签平滑（后续待补，尤其是在论文中。。。。）

最新推荐文章于 2024-08-23 20:09:19 发布

无意识积累中

最新推荐文章于 2024-08-23 20:09:19 发布

阅读量362

点赞数

分类专栏：深度学习基础

本文链接：https://blog.csdn.net/weiwei935707936/article/details/109125547

版权

深度学习基础专栏收录该内容

45 篇文章 5 订阅

订阅专栏

该博客探讨了如何通过标签平滑技术来缓解深度学习模型的过拟合问题。在训练过程中，将标签从离散的one-hot编码转换为连续的分布，使得模型在训练时不会过于依赖单一类别，从而降低过拟合风险。具体实现是创建一个填充了小数值的张量，并在对应正确类别的位置赋予较高的概率值，然后用这个平滑后的标签来计算损失函数。

摘要由CSDN通过智能技术生成

通俗理解：

一定程度缩小label中min和max的差距
可以减小过拟合

for images, labels in train_loader:
    images, labels = images.cuda(), labels.cuda()
    N = labels.size(0)
    # C is the number of classes.
    smoothed_labels = torch.full(size=(N, C), fill_value=0.1 / (C - 1)).cuda()
    smoothed_labels.scatter_(dim=1, index=torch.unsqueeze(labels, dim=1), value=0.9)

    score = model(images)
    log_prob = torch.nn.functional.log_softmax(score, dim=1)
    loss = -torch.sum(log_prob * smoothed_labels) / N
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

参考：https://www.cnblogs.com/whustczy/p/12520239.html