2021-07-27

超分在知识蒸馏上的应用

知识蒸馏

Distilling Knowledge via Knowledge Review(CVPR 2021)

Distilling Object Detectors via Decoupled Features(CVPR 2021)

图像超分

Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy(CVPR 2020)

Exploring Sparsity in Image Super-Resolution for Efficient Inference(CVPR 2020)

多模态目标检测

Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection (ICCV 2019)

核心工作：
在color image 和 thermal image上同时进行行人目标检测。
创新点:
1. 重新定义了多模态图像的标签
2. 提出使用RFA模块(Region Feature Alignment)，解决多模态图像的位移问题，对齐特征图
3. 提出一种新颖的多模态特征融合的方法，通过feature reweighting方式，从多模态feature map中选择更可靠，增加模型的稳定性和鲁棒性。
4. 使用RoI jitter策略，在RoI中引入高斯白噪音，用于增强模型的鲁棒性。
其多模态标签定义的方法：
1. paired object，赋予一个id，
2.unpaired obejct 标记为unpaired，
3. 如果在color image中图像质量较差，以热图中为参照，在相应的color image中标记出框。
其网络模型图如下所示:

上图中，框1展现的是RFA模块，特征图经历的运算是

1. 首先要得到比region 更大的 contextual RoI，利用 RoI pooling 生成大小固定的small feature map(可以替代原来的ROI Pooling)
2. 之后利用2个FC layer预测位移（这里把热图作为reference modality，把color image作为sensed modality, sensed modality通过位移去回归reference。
3. re-pool the sensed feature map on the new region to get aligned feature representation with the reference modality.
4. 之后合并RoI feature map，做后续的工作
   其中位移预测公式如下:
   

上图框2展现的是 feature map reweighting的过程，每个框都有一个权重，其权重 定义如下所示

对于unpaired Object，利用另外的 disagreement weight计算（wd越小，表示color image 和 热图之间的差距就越大，color image 的feature map就越不可靠）

上图框3对应的是ROI jitter，其具体步骤如下图所示