解决的问题是图像分类模型的过拟合,做法利用类class-wise 正则化项。思想是比如上图,这个思想简单的作为KL散度中不动的一方,下面这个背景复杂的作为动的一方,在类别预测的概率分布上进行蒸馏,过滤掉黑暗知识。一个模型,两个不同的样本但是类别是一致的,带有标签。
Regularizing Class-wise Predictions via Self-knowledge Distillation
最新推荐文章于 2023-02-24 17:13:32 发布
解决的问题是图像分类模型的过拟合,做法利用类class-wise 正则化项。思想是比如上图,这个思想简单的作为KL散度中不动的一方,下面这个背景复杂的作为动的一方,在类别预测的概率分布上进行蒸馏,过滤掉黑暗知识。一个模型,两个不同的样本但是类别是一致的,带有标签。