![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
多模态大模型
文章平均质量分 94
深山里的小白羊
这个作者很懒,什么都没留下…
展开
-
北大和鹏城实验室联合推出的图像视频统一多模态大模型Chat-UniVi(CVPR 2024)
大语言模型已经在广泛的开放式任务中展示了令人印象深刻的通用能力,并且已经扩展了它们的效果,包括多模态对话。然而,现有方法在有效处理图像和视频理解方面遇到了挑战,尤其是在视觉标记数量有限的情况下。在这项工作中,我们介绍了Chat-UniVi,这是一个统一的视觉-语言模型,能够理解和参与涉及图像和视频的对话,通过统一的视觉表示。具体来说,我们采用了一组动态视觉标记(dynamic visual tokens)来统一表示图像和视频。原创 2024-08-07 00:53:46 · 915 阅读 · 0 评论 -
北大和华为诺亚联合提出的一种时间感知的视频多模态大模型TimeChat(CVPR 2024)
本工作提出了TimeChat,一个专为长视频理解而设计的时间感知型多模态大型语言模型。我们的模型结合了两个关键的架构创新:(1) 一个时间戳感知的帧编码器,它将每个帧的视觉内容与时间戳绑定;(2) 一个滑动视频Q-Former,它产生不同长度的视频标记序列以适应不同时长的视频。此外,我们构建了一个包含6个任务和总共125K实例的指令调整数据集,以进一步提升TimeChat的指令跟随性能。实验结果在各种视频理解任务上,如密集字幕生成、时间定位和亮点检测,证明了TimeChat强大的零样本时间和推理能力。原创 2024-08-06 09:34:06 · 942 阅读 · 0 评论 -
支持10K长视频理解的多模态大模型MovieChat(CVPR 2024)
最近,将视频基础模型和大型语言模型结合起来构建视频理解系统可以克服特定预定义视觉任务的限制。然而,现有的系统只能处理很少帧数的视频。对于长视频,计算复杂性、内存成本和长期时间连接带来了额外的挑战。利用Atkinson-Shiffrin记忆模型,将Transformers中的tokens作为记忆载体,并结合我们特别设计的记忆机制,我们提出了MovieChat来克服这些挑战。原创 2024-08-05 09:05:18 · 794 阅读 · 0 评论 -
清华和字节联合推出的视频理解大模型video-SALMONN(ICML 2024)
作为使用音频-视觉大型语言模型(av-LLMs)进行视频理解的一个关键但研究不足的方面,语音理解是至关重要的。本文提出了video-SALMONN,这是一个单一的端到端av-LLM,用于视频处理,它不仅能理解视觉帧序列、音频事件和音乐,还能理解语音。为了获得语音理解所需的细粒度时间信息,同时保持对其他视频元素的高效处理,本文提出了一种新颖的多分辨率因果Q-Former(MRC Q-Former)结构,以连接预训练的音频-视觉编码器和骨干大型语言模型。原创 2024-08-03 03:00:29 · 1269 阅读 · 0 评论