知识蒸馏基础知识:
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作 - 知乎
2020 CVPR:Creating Something from Nothing: Unsupervised Knowledge Distillation for Cross-Modal Hashing(UKD)是更早的一篇使用知识蒸馏方法来进行无监督哈希的方法。
其核心思想是有监督方法其实并不是真正要求对每个实例进行标记,只是使用他们的标记来估计每对跨模态数据之间的相似性,在无监督的情况下,每对跨模态数据的相似性可以通过计算特征向量之间的距离来获得。
UKD包含一个无监督的CMH模块和一个有监督的CMH模块,这两个模块都可以被更强大的新模型自由替换。
提出的UKD框架包含以无监督方法训练的教师模型,通过从教师模型中提取知识构建相似矩阵S,并使用S来训练有监督的学生模型。其中,教师模型使用的是UGACH(2018AAAI),学生模型使用的是DCMH(2017CVPR)。
2021 ICMR:Unsupervised Deep Cross-Modal Hashing by Knowledge Distillation for Large-scale Cross-modal Retrieval(KDCMH)
在该方法中,使用JDSH(2020SIGIR:JDSH_彦祖琦的博客-CSDN博客)作为无监督的教师模型,生成相似度矩阵S, 而在有监督的学生模型中,为了更好的保持实例的语义相似度,设置的目标函数包含两种类型模内相似度(intra-modal pairwise loss)和模间相似度(inter-modal pairwise loss和inter-modal triplet loss)。
对于图像模态,intra-modal pairwise loss:
其中
对于文本模态, intra-modal pairwise loss:
对于inter-modal pairwise loss:
其中
整体pairwise objective function:
inter-modal triplet loss:
最终LOSS:
KDCMH的有监督方法与UKD的有监督方法(DCMH)的损失函数对比:
DCMH目标函数为:
其中
两种方法都具有DCMH方法的目标函数的前两项。
第一项为inter-modal pairwise loss
第二项:
第三项: