PaddleClas-SSLD知识蒸馏方法梳理（82.4%ResNet50系列模型养成之路）

最新推荐文章于 2024-08-07 23:36:48 发布

littletomatodonkey

最新推荐文章于 2024-08-07 23:36:48 发布

阅读量3.8k

点赞数 1

分类专栏：图像分类之PaddleClas 知识蒸馏图像处理文章标签：分类算法计算机视觉深度学习

本文链接：https://blog.csdn.net/u012526003/article/details/106160464

版权

知识蒸馏同时被 3 个专栏收录

12 篇文章 17 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

图像处理

10 篇文章 0 订阅

订阅专栏

图像分类之PaddleClas

5 篇文章 2 订阅

订阅专栏

本文介绍了PaddleClas中的SSLD（Simple Semi-supervised Label Distillation）知识蒸馏策略，该策略通过结合ImageNet22k数据集和特定的蒸馏方法，使ResNet50模型在ImageNet1k上达到82.4%的精度。实验表明，教师模型选择、数据挖掘、蒸馏策略和无标签数据的使用对提升模型性能至关重要。

摘要由CSDN通过智能技术生成

简介

PaddleClas是PaddlePaddle最近开源的图像分类代码库，里面包括了目前比较常用的分类模型，ResNet、HRNet、DenseNet、ResNeXt等，配置文件里也提供了这些模型的训练脚本，总共大概是117个模型，当然pretrained model权重文件也都给出来了，github地址在这里：https://github.com/PaddlePaddle/PaddleClas

模型库其实还是比较丰富，不过里面最吸引人的可能还是ImageNet1k val数据集上**top1 acc 82.4%**的ResNet50-Vd预训练模型，这个是224的图像分类情况下得到的，也是目前开源的精度最高的ResNet50系列模型。

这个模型主要是基Paddle自研的SSLD这个知识蒸馏方案得到的，全称是：Simple Semi-supervised Label Distillation，当然仅仅用ImageNet1k数据是很难做到这个高的指标的，PaddleClas里面引入了ImageNet22k数据集，并且对数据进行了抽样选择训练，这里主要是说下82.4%的指标实现思路，主要参考了PaddleClas的蒸馏文档：