徐海蛟 博士
华中科技大学计算机学院[数据与软件工程实验室]
最近的跨模态检索与多模态检索炙手可热。
与传统的单模态检索不同,在跨模态检索中,检索结果的模态和查询的模态是不同的。比如,用户使用图像检索文本,视频和音频。跨模态检索的关键在于对不同模态的关系进行建模,难点就是跨越语义鸿沟。然而,当要检索的文档包含多模态的时候,一般的跨模态方法就无法直接应用到多模态检索。
多模态检索方法可以处理带有多个模态的多媒体数据,在多模态检索中,查询和要检索的文档可能包含不止一个模态。多模态检索方法可以用来提高单模态检索的准确度。多模态和跨模态检索的主要区别在于: 在多模态检索中,查询和要检索的文档必须至少有一个模态是相同的。多模态方法通常是融合不同的模态进行检索,而不是对他们的关系进行建模。比如,在许多多模态图像检索系统中,查询图像可能都有相关的文本,要检索的图像也包含相关的文本信息。而如果查询和要检索的文档没有相同的模态,那么这就是跨模态要解决的问题,传统的多模态方法就无能为力了。
转载于:https://blog.51cto.com/xuhaijiao/1305661