RGB到depth image的蒸馏

我们很容易得到RGB image，而depth image就没那么容易了。depth image的数量级也远远小于RGB image。某些利用depth image训练的模型的精度在很大程度上也低于RGB image的精度。那么这个问题可以怎么解决呢？

以下几种方案是比较典型的：

1、finetune RGB image model to the Depth image model。

2、distill the RGB image to the depth image model。

由于有论文说明方案2优于方案1，而且方案1比较简单，没什么可说的。

这里说下方案2，方案2主要参考的是《Cross Modal Distillation for Supervision Transfer》

以下为pipeline ，值得一提的是depth image要经过处理为3通道的数据

至于怎么将depth image处理为3通道的数据，具体可以参考这篇论文《Perceptual Organization and Recognition of Indoor Scenes from RGB-D Images》以及《Learning Rich Features from RGB-D Images for Object Detection and Segmentation》。