littletomatodonkey
work and life balance
展开
-
CVPR2022-知识蒸馏与自监督相关paper list
知识蒸馏Paper TitleFocal and Global Knowledge Distillation for DetectorsDataset Distillation by Matching Training TrajectoriesPoint-to-Voxel Knowledge Distillation for LiDAR Semantic SegmentationAugmented Geometric Distillation for Data-Free原创 2022-05-04 10:57:43 · 975 阅读 · 0 评论 -
论文解读:Decoupled Knowledge Distillation
1. 论文基本信息论文:Decoupled Knowledge Distillation地址:https://arxiv.org/pdf/2203.08679.pdf代码:https://github.com/megvii-research/mdistiller2. 背景与摘要知识蒸馏花样繁多,在有教师模型的基础上,知识蒸馏可以从response、relation、feature等角度进行研究,设计loss,本文中,作为认为其实最基础的KD仍然有很大的潜力可以挖掘。因此对KD方法进行改进,将教原创 2022-05-03 22:27:34 · 1339 阅读 · 0 评论 -
论文解读:Self-Distillation from the Last Mini-Batch for Consistency Regularization
1. 论文基本信息论文:Self-Distillation from the Last Mini-Batch for Consistency Regularization地址:https://arxiv.org/pdf/2203.16172.pdf代码:https://github.com/Meta-knowledge-Lab/DLB会议:CVPR20222. 背景与摘要关于知识蒸馏方法的研究其实已经很多了,知识蒸馏本质上是一种正则化方法,图像分类任务中,在加上蒸馏之后,数据集的train原创 2022-05-03 21:24:02 · 785 阅读 · 0 评论 -
论文讲解:Knowledge distillation: A good teacher is patient and consistent
前言论文地址:https://arxiv.org/abs/2106.05237google的文章向来是不差钱,这篇文章也是如此,把ImageNet1k数据集的蒸馏做到了1W epoch,而且还做了大量的对比实验。虽然无法复现,不过能直接用结论也是ok的。量化裁剪和蒸馏是模型轻量化三板斧,裁剪可能会带来通道不平衡的问题,量化的收益稳定,这篇文章主要是对蒸馏展开研究。作者发现,只要给蒸馏足够的时间,他是能带来足够的惊喜的,最终只是基于该数据集,将ImageNet的结果刷到了82.8%。实验设置简原创 2021-10-22 11:12:10 · 1249 阅读 · 4 评论 -
还在愁做OCR法方向没有开源数据集嘛,PaddleOCR的这个工具你敢不敢看一下?
近期,PaddleOCR开源了Style-Text数据合成工具。https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/StyleText/README_ch.md项目主页https://github.com/PaddlePaddle/PaddleOCR到底多强结合GAN,输入一串文本和一个风格图片就可以生成对应的场景的图片!!!!!项目开源直接使用无需训练!!!!效果⬇️该工具可以批量合成大量与目标场景类似的图像,如下图所示。Styl转载 2020-12-16 17:51:26 · 370 阅读 · 0 评论 -
深度学习图像分类常见问题以及训练技巧
图像分类常见问题以及训练技巧写在前面图像分类作为计算机视觉的基础任务,包含的很多问题其实也是CV领域的共性问题,分类的训练或者预测技巧也可以很好地迁移到其他任务中去,本文主要就是总结了图像分类在基础知识、数据、训练、预测等各个方面的常见问题,同时也提供了PaddleClas这个图像分类repo在使用过程中遇到的常见问题解答。当然,你也可以完全把这篇文章当做CV求职面经哈哈哈PaddleClas repo地址:FAQ: https://github.com/PaddlePaddle/Paddle原创 2020-10-22 02:20:29 · 7899 阅读 · 0 评论