北京大学和中山大学团队推出Chat-UniVi，这是一个130亿参数的多模态大模型，能够在混合图片和视频数据上训练，无需修改就能应用于图像和视频任务。模型采用动态视觉token表示图像和视频，减少了训练和推理成本，且在多项基准上表现出色。Chat-UniVi已在GitHub和Hugging Face开源。
一个北大投稿 发送至 凹非寺
量子位 | 公众号 QbitAI
训完130亿参数通用视觉语言大模型，只需3天！
北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。
利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。
具体而言，团队按照提出的新框架，训练了一个新的VLM：Chat-UniVi。
Chat-UniVi能在混合图片和视频数据的情况下进行训练，并同时处理图片任务和视频理解任务。
以此为基础，Chat-UniVi在图片及视频上的17个基准上，都表现得还不错。
现在，项目已经在GitHub和抱抱脸上开源。
更多关于新方法和Chat-UniVi的详细信息，我们一起进一步来看看～
Chat-UniVi是什么？
了解基础信息后，我们详细地聊聊Chat-UniVi究竟是什么——
简单来说，Chat-UniVi是一个统一的多模态大型语言模型，可以同时理解图像和视频。
目前VLM运用的方法，偏图片理解的，往往使用大量视觉tokens来获得更精细的空间分辨率。
偏视频理解
最低0.47元/天 解锁文章
扫一扫
21
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
