
零样本跨模态检索(Zero-Shot Cross-Modal Retrieval)信息论哈希
受信息理论学习[29]的最新进展的启发,我们开发了信息理论哈希(ITH),这是一种新的ZS-CMR模型,它可以在没有任何额外NLP模型指导的情况下从训练数据中学习构建公共汉明空间。为了保证泛化,受流行的零拍摄图像分类方法的启发[18]-[20],来自预训练的自然语言处理(NLP)模型的类嵌入(例如,word 2 vec [21])被用作额外的引导信号以限定公共空间。为了解决预定义的公共空间和异构数据的语义之间的潜在不兼容性,我们研究了从给定数据中构建或学习公共空间的可行性,而无需额外的NLP模型的指导。
















