pytorch 10 支持ignore_index和class_weight的标签平滑LabelSmoothingCrossEntropyLoss实现

万里鹏程转瞬至

已于 2022-03-17 10:38:37 修改

阅读量1.9k

点赞数 1

分类专栏： pytorch工程实践文章标签： pytorch 深度学习标签平滑

于 2021-12-23 17:31:36 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/a486259/article/details/122112803

版权

pytorch工程实践专栏收录该内容

46 篇文章 182 订阅 ¥59.90 ¥99.00

订阅专栏

通过标签平滑可以考虑类别间的相似度，加大模型的loss，让模型对自己的预测结果不在那么自信。这样子训练出来的模型类间距离会更大（类间变得分散），同时类内距离更小（类内更加聚拢）。造成这一效果的本质原因是，独热码不一定能完全的表述数据的本质特征，忽略了数据间的共性。如分类数据中，老虎、豹子、大象，老虎和豹子在纹理上更相近，而独热码无法体现这一特性，只认为老虎、豹子、大象是完全独立的个体。

独热码下的标签如下

$\hat{y_i}=\left\{\begin{matrix} 1 \: \: \: \: \:\, \, i=target\\ 0 \: \: \: \: \: \: i\neq target \end{matrix}\right.$

标签平滑后的标签如下，其中K+1等于类别数，a为标签平滑因子

$\hat{y_i}=\left\{\begin{matrix} 1-a \: \: \: \: \:\, \, i=target\\ a/K \: \: \: \: \: \: i\neq target \end{matrix}\right.$

从梯度上分析，多分类交叉熵loss的公式为

了解本专栏

万里鹏程转瞬至

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
pytorch 10 支持ignore_index和class_weight的标签平滑LabelSmoothingCrossEntropyLoss实现

为工程而实现的LabelSmoothingCrossEntropy支持ignore_index与weight的设置，在epslion=0时，loss值与交叉熵一模一样。支持正常的反向传播训练。通过标签平滑可以考虑类别间的相似度，增大加大模型的loss，让模型对自己的预测结果不在那么自信。这样子训练出来的模型类间距离会更大（类间变得分散），同时类内距离更小（类内更加聚拢）。造成这一效果的本质原因是，独热码不一定能完全的表述数据的本质特征，忽略了数据间的共性。
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

万里鹏程转瞬至 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。