机器就不学习-CSDN博客

原创 [2022AAAI]Knowledge Distillation for Object Detection via Rank Mimicking and ... 论文笔记

目录摘要MethodRank mimickingPrediction-guided Feature Imitation总损失实验总结论文全名有点长，题目放不下了：Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation已经被AAAI2022接收。摘要出发点：student性能差的两个原因：1.候选框排序差别很大，如下图所示。对于简单的目标(图1a)，

2022-03-12 10:57:02 5097

原创 [2021ICLR]Improve Object Detection with Feature-based Knowledge Distillation 论文笔记

目标检测知识蒸馏

2022-03-12 10:41:32 5700

原创 [2021CVPR]General Instance Distillation for Object Detection 论文笔记

1.摘要主要出发点：1.通用性，现有的方法对不同检测器通用性差；2.严重依赖于GT框，而忽略了不同实例之间的关系。作者提出的方法称为一般实例蒸馏(general instance distillation)，其不考虑GT带来的正负区别。作者认为将分类中蒸馏的方法直接用到检测中不行是因为检测中正负样本非常不平衡。[14]和[34]都是解决正负样本不平衡问题来解决蒸馏检测。但是，作者认为只用GT相关的区域来做蒸馏会忽视背景的潜在信息。因此，作者将一般实例(图像)作为蒸馏目标，结合了response-base

2022-03-12 10:34:52 5134

原创 [2021CVPR]Distilling Object Detectors via Decoupled Features 论文笔记

动机从背景区域对小网络进行蒸馏也是很重要的，并且说明了不同区域的特征对蒸馏起到的作用。主要蒸馏区域为neck(FPN)和分类头。从直观上而言，论文标题中的解耦特征指的就是前景和背景的特征和logits分别拿出来，前背景分别计算损失，两者通过一个参数来进行平衡。Methodneck特征蒸馏对neck部分的特征进行整理。与其他方法类似，首先利用GT在neck(通常为FPN)特征区域生成一个前景(值为1)和背景(值为0)特征的二值mask M，然后对前景和背景区域的特征分别计算L2 蒸馏损失，其中M代表上

2022-03-12 10:25:21 554 1

原创 [2020Arxiv]Distilling Object Detectors with Task Adaptive Regularization 论文笔记

出发点并非teacher的所有知识都值得学习，所以只学习teacher比较好的部分，以及gt周围的区域。method1.特征蒸馏选取了backbone特征，具体做法是：以target中心为高斯mask中心，生成一个二维的高斯mask，利用该mask对backbone特征进行蒸馏。注意，因为是backbone特征，还不是特别高层次的语义特征，所以才选择一个区域。如果是head之类的地方，选择一个区域的做法是不太合理的，因为在高层次语义特征中，目标的信息已经编码到一个像素点了。2.分类头蒸馏t

2022-03-12 10:19:35 457

原创 [2019CVPR]Distilling Object Detectors with Fine-grained Feature Imitation 论文笔记

标题Method1.anchor选择2.特征蒸馏实验总结一句话总结：针对anchor-based检测器进行特征蒸馏，并且只蒸馏GT和anchor之间IOU高的地方的特征，具体含义见论文可视化图。Method1.anchor选择anchor分布为H×W×K，其中H和W表示生成anchor的特征图的宽高，K表示特征图一个点上anchor的个数。计算所有anchor与GT的IOU，得到一个H×W×K的IOU map，然后，常规想法是直接取个固定阈值然后保留IOU高于阈值的anchor，作者的做法是去IOU

2022-03-12 10:15:02 287

原创 [2017CVPR]Mimicking very efficient network for object detection 论文笔记

目录出发点Method总结出发点作者的出发点是，现有的检测backbone都是分类那边过来的，但是这些网络分类效果好，检测不一定就是最好的。假如我想要设计并找到一个更有效的网络，我们都需要预先在ImageNet上训练这些模型然后再检测任务上进行微调，这往往需要训练特别久，并且作者还发现小网络在ImageNet训练的结果并不好，在这上面再在检测任务上微调效果也不好。所以，作者提出了别的方式来获得预训练权重：用一个检测效果很好的网络来指导其他小检测网络训练，并确保两者检测性能差不多。即：在原有GT训练的基

2022-03-11 21:55:12 313

原创 [2017NIPS]Learning Efficient Object Detection Models with Knowledge Distillation 论文笔记

目标检测知识蒸馏

2022-03-11 21:39:16 518

原创 SSP-NET论文总结

简介特征金字塔池化是何恺明大神提出的一种在R-CNN基础上的可以利用CNN处理任意尺度、大小的图像并得到固定长度特征的方法。这个方法只需要计算一次整张图的feature maps（和R-CNN的计算2000次region proposal的特征图相比快多了）。对于一个region proposal，其与feature map有一个对应的映射关系，我们可以找到这个proposal对应的feature map的区域，然后对其进行金字塔池化，得到固定长度的特征向量，再输入到svm中进行分类评分。这就是特征金字塔

2021-01-28 10:39:45 684

原创 R-CNN阅读笔记

R-CNN阅读笔记摘要1.简介2.R-CNN目标检测2.1R-CNN主要步骤2.2模型训练2.2.1 特征提取器CNN训练2.2.2 SVM分类器训练2.2.3 Bounding-box回归2.3 在PASCAL VOC 2010-12上的结果3 可视化、消融实验和预测错误分析3.1 可视化3.2 消融实验3.3 预测错误分析4 ILSVRC2013目标检测数据集及实验结果4.1 Region proposals4.2 模型训练4.3 测试集验证与评估4.4 R-CNN与OverFeat的关系5 结论6 附

2021-01-26 21:31:09 156

weixin_45750753的博客