论文学习
文章平均质量分 91
Github_Yue
这个作者很懒,什么都没留下…
展开
-
Distilling Object Detectors with Fine-grained Feature Imitation论文解读
论文链接文章目录1.简介2.方法1.简介对于以往应用于知识蒸馏的目标检测存在两种方法。第一种来自于论文FitNets: Hints for Thin Deep Nets,是一种基于特征模仿的方法,单纯基于特征模仿的方法,论文中表述为Hint learning的方法会导致性能下降,因为检测模型不同于分类模型,检测模型的检测器更关注实际目标所覆盖的局部区域,而分类模型更专注于全局的纹理。因此,使用特征模仿的方法会导致引入检测模型原本不需关注区域的噪声,从而导致检测性能下降。整体框架如图1所示:对于上原创 2021-11-29 11:36:27 · 1735 阅读 · 0 评论 -
神经网络的知识蒸馏(Distilling the Knowledge in Neural Network)
文章目录1. 背景2.理论依据1. 教师学生模型2.知识蒸馏关键点3. softmax函数3. 知识蒸馏的具体方法1.通用的知识蒸馏方法2. 关于温度T的讨论论文链接原博客参考:链接1. 背景在训练过程中,我们需要使用复杂的模型,大量的计算资源,以便从非常大、高度冗余的数据集中提取出信息。在实验中,效果最好的模型往往规模很大,甚至由多个模型集成得到。而大模型不方便部署到服务中去,常见的瓶颈如下:(1)推理速度慢(2)对资源部署的要求高因此,模型压缩(在保证性能的前提下减少模型的参数量)成为了一转载 2021-10-10 19:49:52 · 1576 阅读 · 1 评论 -
Improving Semantic Segmentation via Self-Training论文理解
文章目录主要贡献点方法(1)使用无标注的数据进行自训练(2)质心采样对抗类别不平衡(3)对于大型扩展数据集的快速训练方法主要贡献点介绍了一个用于语义分割的自训练框架,其能够正确处理带噪声的像素级别的半监督标签提出了一种训练方法,其能够适应训练过程中图像的分辨率,在不损失模型精确度的情况下加速性能用所提出的方法在cityscapes, camvid和kitti数据集上面都做了实验,实验过程只使用了少量的标注在不同语义种类的跨域泛化任务上面验证了自训练的有效性方法(1)使用无标注的数据进行自训原创 2021-07-14 16:13:48 · 601 阅读 · 0 评论