2021 ICMR：KDCMH

知识蒸馏基础知识：

【经典简读】知识蒸馏(Knowledge Distillation) 经典之作 - 知乎

---

2020 CVPR：Creating Something from Nothing: Unsupervised Knowledge Distillation for Cross-Modal Hashing（UKD）是更早的一篇使用知识蒸馏方法来进行无监督哈希的方法。

        其核心思想是有监督方法其实并不是真正要求对每个实例进行标记，只是使用他们的标记来估计每对跨模态数据之间的相似性，在无监督的情况下，每对跨模态数据的相似性可以通过计算特征向量之间的距离来获得。

        UKD包含一个无监督的CMH模块和一个有监督的CMH模块，这两个模块都可以被更强大的新模型自由替换。

         提出的UKD框架包含以无监督方法训练的教师模型，通过从教师模型中提取知识构建相似矩阵S，并使用S来训练有监督的学生模型。其中，教师模型使用的是UGACH（2018AAAI），学生模型使用的是DCMH（2017CVPR）。

---

2021 ICMR：Unsupervised Deep Cross-Modal Hashing by Knowledge Distillation for Large-scale Cross-modal Retrieval（KDCMH）

        在该方法中，使用JDSH（2020SIGIR：JDSH_彦祖琦的博客-CSDN博客）作为无监督的教师模型，生成相似度矩阵S， 而在有监督的学生模型中，为了更好的保持实例的语义相似度，设置的目标函数包含两种类型模内相似度（intra-modal pairwise loss）和模间相似度（inter-modal pairwise loss和inter-modal triplet loss）。

        对于图像模态，intra-modal pairwise loss：

其中

        对于文本模态， intra-modal pairwise loss：

         对于inter-modal pairwise loss：

其中

整体pairwise objective function:

 inter-modal triplet loss：

 

 最终LOSS：

---

 KDCMH的有监督方法与UKD的有监督方法（DCMH）的损失函数对比：

DCMH目标函数为：

其中

 两种方法都具有DCMH方法的目标函数的前两项。

第一项为inter-modal pairwise loss

第二项：

第三项：