大视觉语言模型(LVLM)的引入显著提升了视觉语言理解领域下游任务的性能。目前的方法通常将图像和视频编码为单独的特征空间,并将其作为大型语言模型(LLM)的输入。然而,由于图像和视频缺乏一致的标记,即在投影前存在错位,这导致大型语言模型在学习多模态交互时面临挑战。在这项研究中,我们通过将视觉表示统一到语言特征空间,实现了基础LLM向统一LVLM的转变。我们提出了一个简单而强大的LVLM基线,命名为Video-LLaVA,通过从混合数据集中学习图像和视频相互增强的方式而得以建立。Video-LLaVA在跨足5个图像问答数据集和4个图像基准工具包的9个图像基准测试中表现出色。此外,我们的Video-LLaVA在MSRVTT、MSVD、TGIF和ActivityNet等数据集上的性能分别比Video-ChatGPT高出5.8%、9.9%、18.6%和10.1%。值得注意的是,大量实验证明,Video-LLaVA通过统一的视觉表示使图像和视频相辅相成,其性能优于专为图像或视频设计的模型。
由北京大学、中山大学等AI人工智能科技优选项目组发布“Video-LLaVA“: 大视觉语言模型的崭新里程碑
于 2023-11-21 18:53:23 首次发布