RGB-infrared(RGBT)数据任务中infrared(thermal)信息的使用方式

Detection

Learning Cross-Modal Deep Representations for Robust Pedestrian Detection

这篇文章的motivation和我之前想的不一样：希望使用红外图像进行detection，但是红外图像比较难获得，标注很少，希望通过少部分的红外图像来辅助train model，但是测试时还是只使用RGB进行detection。所以用了unsupervised deep learning。
emmm好像不太好借鉴

做法是首先train a model学习RGB到infrared image的映射，得到的模型会作为后续模型的一部分，从而保留了从红外学习到的一部分经验来辅助RGB的训练（好像是可以，但是不知怎么觉得有点怪怪的）

RRN是专门学习RGB到thermal的映射（RGBT中的T是thermal而非temperature好像）

然后设计了一个multi-scale detection model，RRN是其中黄色部分：

Fully Convolutional Region Proposal Networks for Multispectral Person Detection

CVPR workshop的小论文。挺水的。。。
大概就是先分两路，concatenate后使用NIN(1x1conv) reduce channel by half。并探究了什么时候fusion比较合适：

结构©的性能最好，前后结构上是最均衡的。

Re-ID

这部分论文较多，在我的另一篇blog里系统介绍：
RGB-Infrared Cross-Modality Re-Identification