littletomatodonkey
work and life balance
展开
-
浅谈知识蒸馏的现状与未来
近年来,深度学习已成为各行各业中重要的技术手段,而模型蒸馏则是其中一项重要的技术之一。模型蒸馏可以让模型在更小的存储空间和更短的推理时间内实现相似的效果,因此已经被广泛地使用。本文主要介绍一下模型蒸馏的现状和未来发展。原创 2023-03-21 19:14:45 · 792 阅读 · 0 评论 -
【论文解读】One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers
这是一篇NLP知识蒸馏的论文,多模型蒸馏的过程中,充分利用教师模型输出以及隐藏层信息,矫正单个模型可能会带来的信息偏差,最终提升模型精度原创 2022-06-13 14:01:57 · 341 阅读 · 0 评论 -
论文讲解-Tripartite: Tackle Noisy Labels by a More Precise Partition
这篇论文继google的noisy label蒸馏之后,再次讨论起noisy label,本文对此进行解读原创 2022-06-07 21:16:37 · 434 阅读 · 1 评论 -
CVPR2022-知识蒸馏与自监督相关paper list
知识蒸馏Paper TitleFocal and Global Knowledge Distillation for DetectorsDataset Distillation by Matching Training TrajectoriesPoint-to-Voxel Knowledge Distillation for LiDAR Semantic SegmentationAugmented Geometric Distillation for Data-Free原创 2022-05-04 10:57:43 · 979 阅读 · 0 评论 -
论文解读:Decoupled Knowledge Distillation
1. 论文基本信息论文:Decoupled Knowledge Distillation地址:https://arxiv.org/pdf/2203.08679.pdf代码:https://github.com/megvii-research/mdistiller2. 背景与摘要知识蒸馏花样繁多,在有教师模型的基础上,知识蒸馏可以从response、relation、feature等角度进行研究,设计loss,本文中,作为认为其实最基础的KD仍然有很大的潜力可以挖掘。因此对KD方法进行改进,将教原创 2022-05-03 22:27:34 · 1343 阅读 · 0 评论 -
论文解读:Self-Distillation from the Last Mini-Batch for Consistency Regularization
1. 论文基本信息论文:Self-Distillation from the Last Mini-Batch for Consistency Regularization地址:https://arxiv.org/pdf/2203.16172.pdf代码:https://github.com/Meta-knowledge-Lab/DLB会议:CVPR20222. 背景与摘要关于知识蒸馏方法的研究其实已经很多了,知识蒸馏本质上是一种正则化方法,图像分类任务中,在加上蒸馏之后,数据集的train原创 2022-05-03 21:24:02 · 787 阅读 · 0 评论 -
AAAI2021 蒸馏论文review
简介aaai论文列表:https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf总体:feature map的蒸馏很普遍,之前很多手动选择feature map的蒸馏方法,这次aaai2021的论文中,有3篇关于feature map的蒸馏论文,都是基于自动挑选feature map/attention的思路去做的,这也可以看原创 2022-01-04 18:02:26 · 2181 阅读 · 0 评论 -
cvpr2021 知识蒸馏文章review
前言本文主要是总结cvpr2021里的一些关于知识蒸馏的文章,希望对之后的工作有所启发。所有论文地址:https://openaccess.thecvf.com/CVPR2021。Complementary Relation Contrastive Distillation论文地址:https://openaccess.thecvf.com/content/CVPR2021/papers/Zhu_Complementary_Relation_Contrastive_Distillation_CVP原创 2021-11-15 01:42:37 · 3487 阅读 · 0 评论 -
论文讲解:Knowledge distillation: A good teacher is patient and consistent
前言论文地址:https://arxiv.org/abs/2106.05237google的文章向来是不差钱,这篇文章也是如此,把ImageNet1k数据集的蒸馏做到了1W epoch,而且还做了大量的对比实验。虽然无法复现,不过能直接用结论也是ok的。量化裁剪和蒸馏是模型轻量化三板斧,裁剪可能会带来通道不平衡的问题,量化的收益稳定,这篇文章主要是对蒸馏展开研究。作者发现,只要给蒸馏足够的时间,他是能带来足够的惊喜的,最终只是基于该数据集,将ImageNet的结果刷到了82.8%。实验设置简原创 2021-10-22 11:12:10 · 1250 阅读 · 4 评论 -
iccv2021 知识蒸馏文章review
前言本文主要是总结iccv2021里的一些关于知识蒸馏的文章,希望对之后的工作有所启发所有论文地址:https://openaccess.thecvf.com/ICCV2021原创 2021-10-12 16:50:48 · 748 阅读 · 0 评论 -
Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation论文解读
前言许久没写博客,今天趁着假期最后一天,分享下今天看到的一篇关于自蒸馏的论文。题目:Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation地址:https://arxiv.org/abs/2110.00329github:https://github.com/zhengli427/TESKD/主要思路是融合了abstract...原创 2021-10-07 22:13:52 · 416 阅读 · 0 评论 -
PaddleClas-SSLD知识蒸馏方法梳理(82.4%ResNet50系列模型养成之路)
简介PaddleClas是PaddlePaddle最近开源的图像分类代码库,里面包括了目前比较常用的分类模型,ResNet、HRNet、DenseNet、ResNeXt等,配置文件里也提供了这些模型的训练脚本,总共大概是117个模型,当然pretrained model权重文件也都给出来了,github地址在这里:https://github.com/PaddlePaddle/PaddleClas模型库其实还是比较丰富,不过里面最吸引人的可能还是ImageNet1k val数据集上**top1 acc原创 2020-05-16 17:38:33 · 3802 阅读 · 5 评论