Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval
1、首先,使用unimodal pretrained models得到一个模态的编码,比如视觉的S3D和Clip模型,text的Bert模型。2、在visual-text dataset数据集上使用掩码学习和对比学习去对齐在第一轮得到的单模态的特征。1、第二轮中需要大量的数据和计算量2、第二轮中的video数据需要和下游任务强烈的相关。
原创
2024-02-27 15:32:18 ·
873 阅读 ·
0 评论