【论文笔记】VITA: Towards Open-Source Interactive Omni Multimodal LLM

最新推荐文章于 2025-05-08 17:42:45 发布
最新推荐文章于 2025-05-08 17:42:45 发布
阅读量1.1k 收藏 22
点赞数 28
分类专栏： Multimodal 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36686169/article/details/142258137
版权

VITA: Towards Open-Source Interactive Omni Multimodal LLM

论文地址 https://www.arxiv.org/pdf/2408.05211
项目地址 https://github.com/VITA-MLLM/VITA

模型速览

gpt4o的多模态能力和互动体验展现出了他们在实际应用中的必要性，如今的开源模型很难在这两方面表现出色。文章作者首次开源了一个能够即时处理分析多种模态信号并具有互动性的多模态模型，VITA（Video, Image, Text, Audio），其性能也经过了验证。

  • 传统音频交互的限制
    • 用户每次提问需要先说出预定义的唤醒词，类似于“Hi! Siri~”
    • 模型生成结果的过程中是不再支持交互的，只能支持顺序响应用户query
  • VITA
    • 自动滤除与人声音不相关的背景噪声，因此不需要唤醒词
    • 音频打断交互：如果用户在模型生成回复的过程中用另一个问题打断，则支持中断当前的回复，处理最新的用户query
  • VITA 训练/推理流程：
    • 基于一个MOE语言模型Mixtral 8*7B，经双语料sft扩展了语言模型的中文词表
    • 多任务训练，分别训练单独的语音和vision encoder和connector，使多模态能力对齐；定义状态token，基于构建的多模态指令调优数据训练教会模型识别不同类型的输入，使其能够在没有唤醒词的情形下也能正确响应
    • 多模态SFT
    • 采用双工方案进行部署，即同时部署两个VITA模型，一个模型负责对用户的query输出回复，另一个连续跟踪环境的输入，选择性地对新的输入做出反应并回复（非唤醒交互和用户打断的场景），如果当前的生成过程被打断，模型就根据新的用户query生成回复。为了提高交互效率，作者团队也进行了工程优化，比如采用vllm实现了推理加速

Interaction of VITA
VITA推理流程

VITA模型细节

各阶段训练策略

VITA训练流程

StageLLM Instruction TuningMultimodal AlignmentMultimodal Instruction Tuning
Strategy扩展中文词表，从32000扩到51747冻结vision encoder，只训练connector，数据group到上下文6K设计三个特殊token<1><2><3>，把这些token放在回答的起始位置，区分不同的回复类型；冻结语音和视觉编码器参数，训练LLM和connector
Effect相同文本情况下减少了token数量，提高推理速度只训connector…(文中没说为什么)，数据group保证了比较均匀的token数量，提高训练效率，同时不会降低模型效果特殊token可以避免模型混淆，更容易理解
Data5M 纯文本数据4960.3K，包含图，视频，OCR和图表的描述和问答对及纯文本数据在表1的基础上做了调整，用GPT-SoVITS将一半数据的query替换成了语音版本，不同类型的数据采用不同的system prompt（表2）；音频噪声干扰数据：从多模态和单模态的QA对的答案中随机采样474K句子然后转成音频

Multimodal Alignment

ModalityVisualAudio
EncoderInternViT-300M-448px4×CNN downsampling layers + a 24-layer-transformer, totaling 341M paras
Connectortwo-layer MLPtwo-layer MLP
Inputimage with 448*448audio
Output256 tokens每2s音频被编码成25个token
Processing对于高分辨率图像，采取动态的切图策略，视频作为图像的特殊案例，根据视频的时间序列长度切分出不同数量的视频帧，视频帧不作切图处理每段音频需要先经过一个梅尔滤波器组将音频信号分解为梅尔频率尺度上的各个频带，模仿人类对声音的非线性感知，即提取FBank特征
Data Source见表1Wenetspeech和Gigaspeech，都包含10000+小时的音频演讲，分别以中文和英文为主
Alignmenttune connector onlyAutomatic Speech Recognition(ASR)任务

表 1 Data recipe of visual alignment
Data recipe of visual alignment

Multimodal Instruction Tuning

Special Token<1><2><3>
Input typeAudioNoisyText
Outputtext or speech converted by TTS toolsEOS token as a terminatorpure text

However, we observe that abruptly terminating the output during training can significantly degrade performance. Consequently, we send the text corresponding to the noisy audio to a LLM and use its output text as the training target. During inference, <2> serves as another special EOS token.

也就是说训练过程中直接令输出中断是不可取的，会导致模型性能下降。因此将这段语音对应的文本输入到LLM中得到的回复作为训练目标，<2>就作为另一个特殊的EOS token

表 2 System Prompts for image input, video input, and pure text input
System Prompts

Duplex Pipeline

开始讲讲如何实现交互？

无唤醒交互场景

场景要求：

  • 实时追踪环境声音信息，涉及确认是否是人声
  • 滤除环境噪声，模型只需要回复有效人声

对于第一个需求，可以借助Voice Activity Detection(VAD)任务实现，VITA采用 SileroVAD模型，是在超过6000中语言的大量预料上训练过的，在各种背景噪声中的性能表现也不错；对于第二个需求，上述第三阶段指令微调已经对此做出了优化。

音频打断交互场景

场景要求：

  • 外部query的实时跟踪和过滤
  • 回答新的问题：当出现新问题时，系统必须停止当前一轮回复，组建历史对话，并对当前的query做出回应。

为实现上述要求，作者实现了一个双工部署框架，同时部署两个VITA模型。
在典型情况下，Generation model会回答用户query。同时，Monitoring model在生成过程中检测环境声音。它忽略非query的用户声音，即嘈杂的音频，但在识别query音频时停止生成模型的进程。Monitoring model 随后整合历史上下文并响应最新的用户query。此时，Generation model和Monitoring model的身份互换。

Evaluation

性能对比

VITA：开源交互式全模态大型语言模型的探索
步子哥的博客
08-12 529
在大型语言模型（LLMs）快速发展的今天，交互式和多模态能力已经成为了研究的热点。随着GPT-4o等先进模型的出现，展示了文本、视觉和音频信号的综合处理能力，标志着多模态大型语言模型（MLLMs）迈向了一个新的阶段。然而，尽管闭源模型在这些领域取得了显著的成绩，开源模型在多模态交互体验方面仍显得力不从心。这一现状促使我们推出VITA——第一个开源的多模态大型语言模型，旨在同时处理视频、图像、文本和音频，并提供先进的交互体验。
李飞飞（FeiFei Li）最新论文：s1 开源推理大模型：简单的测试时间缩放 s1: Simple test-time scaling
AI天才研究院
02-06 1836
本文提出了一种基于测试时间调整的语言模型优化方法，通过额外的计算资源在测试阶段提高模型性能。作者首先构建了一个名为s1K的数据集，包含1000个经过精心挑选的问题及其对应的推理路径，这些样本依据难度、多样性和质量三个标准进行筛选和标注。接着，引入了预算强制（BF）技术，这是一种简单的测试时间调整策略，通过限制或增加思考步数来迫使模型重新考虑其答案，从而提升解决复杂问题的能力。实验结果显示，使用这种方法对 Qwen2.5-32B-Instruct 模型进行微调后，能够显著提高在数学竞赛等推理密集型任务。
腾讯 VITA：多模态 AI 开源力作，引领交互创新潮
star_nwe的博客
08-21 1585
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
VITA: Towards Open-Source Interactive Omni Multimodal LLM论文笔记
fjfdg666的博客
09-27 445
声音打断交互：同时部署两个模型，生成模型用来回复用户的query，而监测模型同时监测环境声音，当监测到有效的query时，生成模型终止回复，并将上下文提供给监测模型，监测模型开始对新query进行回复，而生成模型对环境生成进行监测，二者完成了身份的互换。训练过程：为了对不同模态类型的输入进行更好的交互，在训练时，针对不同的输入模态类型，在答案的开始位置添加相应的特殊token，语音query添加<1>，噪声语音query添加<2>，纯文本query<3>数据源与对齐阶段的数据相同，做了一些改变。
腾讯发布首个开源多模态大模型VITA：解决非唤醒交互和音频中断交互难题
ai2nv的博客
08-20 936
大语言模型 (LLM) 经历了重大的演变，特别是GPT-4o的出现显著推动了多模态大语言模型 (MLLM) 的蓬勃发展。GPT-4o的卓越多模态能力和用户交互体验在实际应用中非常重要，但没有开源模型在这两个领域同时表现出色。来自腾讯优图实验室等机构的研究者提出了VITA，这是。与现有的开源MLLM相比较，VITA有以下传统的音频交互需要预定义的唤醒词，例如每次提问时都需要说“Hi!Siri?”，或者需要按下按钮来控制输入的音频问题。
别等GPT-4o啦，国产「开源版」GPT-4o 来了！支持全模态、无障碍交流
夕小瑶科技说
08-19 1308
本文介绍了VITA，通过优化开源模型将视频、图像、文本和音频理解整合到一个统一的框架中，并提供了先进的交互体验。VITA通过非唤醒交互和音频中断交互为开源社区开创了新颖的多模态交互方式。
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.08.05-2024.08.10
小小帅
08-15 1070
GPT-4o 卓越的多模态能力和交互体验突出表明了其在实际应用中的必要性，然而开源模型却很少在这两个领域都有出色表现。在本文中，我们将介绍 VITA，它是有史以来第一个开源的多模态大语言模型（MLLM），善于同时处理和分析视频、图像、文本和音频模式，同时具有先进的多模态交互体验。从 Mixtral 8x7B 作为语言基础开始，我们扩充了它的中文词汇量，然后进行了双语教学调整。通过多模态对齐和指令调整的两阶段多任务学习，我们进一步赋予语言模型视觉和音频功能。
Github揽获1.6K星！南大、腾讯发布VITA-1.5: 迈向GPT-4o级实时视频-语音交互
m0_70486148的博客
01-10 812
近年来，多模态大语言模型（MLLMs）主要聚焦在视觉和文本模态的融合上，对语音的关注较少。然而，语音在多模态对话系统中扮演着至关重要的角色。由于视觉和语音模态之间的差异，同时在视觉和语音任务上取得高性能表现仍然是一个显著的挑战。：在视觉-语言多模态模型的基础上，增加语音输入和输出能力，使其能够高效处理视觉、文本和语音任务。：避免使用独立的自动语音识别（ASR）和语音合成（TTS）模块与 LLM 级联的方案，显著提升交互时端到端响应速度。
Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities翻译
nopSled
11-16 197
GPT-4o 是一个包罗万象的模型，是大型多模态语言模型发展的一个里程碑。它可以理解视觉、听觉和文本模态，直接输出音频，并支持灵活的双工交互。开源社区的模型通常实现了 GPT-4o 的一些功能，例如视觉理解和语音聊天。然而，由于多模态数据的复杂性、复杂的模型架构和训练过程，训练一个包含所有模态的统一模型具有挑战性。在本文中，我们介绍了，这是一个视听助手，能够为音视频问题提供实时、端到端的语音响应。通过集成预训练的视觉和听觉编码器，Mini-Omni2 在各个模态中保持性能。
论文分享|MLLMs中多种模态(图像/视频/音频/语音)的tokenizer梳理
weixin_45783724的博客
08-13 2128
本文旨在对任意模态输入-任意模态输出 (X2X) 的LLM的编解码方式进行简单梳理，同时总结一些代表性工作。：图像代表Image，视频代表Video（不含声音），音频代表 Audio/Music，语音代表Speech。
GPT-4o背后的语音技术
小哲的博客
01-15 878
GPT-4o是一个**any2any的多模态模型**，能够接受文本、音频、图像、视频等多模态输入，也能够生成包含文本、语音、图像和视频等混合内容的多模态输出。本文主要谈**语音多模态的实现**，并分享一些对于语音研究未来发展的看法。
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 3979
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
【论文阅读】HunyuanVideo: A Systematic Framework For Large Video Generative Models
xianshuiyihui的博客
05-07 543
Hunyuan Video论文详解
[论文笔记] 超详细解读DeepSeek v3全论文技术报告
最新发布
心宝的博客
05-08 84
（可以理解为有多个专家，但每个token只会选择一部分专家进行推理，所以一个token的预测，只会用到37B参数），DeepSeek-V3 使用了。来实现高效的流水线并行（减少空泡情况，计算和通信同时进行，提升每张显卡的利用率）。对DeepSeek-V3进行了两阶段的上下文长度扩展。，在不使用采样loss帮助下，让每个专家访问次数接近）的。2、在第二阶段，进一步扩展到128K。阶段，以使其与人类偏好保持一致，并进一步释放其潜力。个不同的高质量token训练，然后进行监督微调和。，MoE）语言模型，总共。
[论文阅读]MCP Guardian: A Security-First Layer for Safeguarding MCP-Based AI System
m0_52911108的博客
05-06 928
MCP Guardian 不要求开发人员直接在每个工具服务器中嵌入安全检查，而是通过覆盖 MCP 中的 invoke_tool 方法拦截所有调用。这种设计选择可确保对现有 5 个代码库的干扰降到最低，同时为身份验证、授权、速率限制、请求监控和 Web 应用程序防火墙 (WAF) 扫描提供一个中央控制点。安全性：MCP Guardian 有效阻止了未经授权的令牌、恶意命令（如 drop table、rm -rf /）和过高的请求率，展示了其在处理常见攻击模式和资源滥用方面的稳健性。
【论文阅读】Harnessing the Power of LLM to Support Binary Taint Analysis
网络空间安全|人工智能|计算机科学
05-07 872
研究背景软件测试与漏洞检测现状：软件测试是保证软件质量的主要方法，但无法确保无漏洞。二进制漏洞可能被利用，引发网络攻击，第三方安全审计及静态二进制污点分析成为保障软件安全的重要手段。静态二进制污点分析概述：该分析通过识别污点源、传播污点标签、检查漏洞点来检测漏洞，然而其部分流程依赖人工，规则设计复杂且易出错。LLMs的应用潜力：LLMs在代码理解方面有优势，如代码生成和总结，但应用于二进制漏洞检测存在提示工程和代码上下文编码等挑战。LATTE设计整体思路。
【论文笔记】SOTR: Segmenting Objects with Transformers
Word_And_Me_的博客
05-05 1109
【题目】：SOTR: Segmenting Objects with Transformers【引用格式】：Guo R, Niu D, Qu L, et al. Sotr: Segmenting objects with transformers[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 7157-7166.【网址】：https://openaccess.thecvf.com/cont
【论文阅读】LLMOPT：一种提升优化泛化能力的统一学习框架
hiliang521的博客
05-04 1124
【论文阅读】LLMOPT：一种提升优化泛化能力的统一学习框架
LLM论文笔记 28: Universal length generalization with Turing Programs
m0_65305142的博客
05-04 596
通过将算法任务分解为逐步的“磁带更新”（类似图灵机的读写操作），允许模型通过简单的文本复制与局部修改完成复杂计算。：每一步仅对磁带的局部内容进行修改（如更新某一位的数字或进位），而非完全重写。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。：模型在未见过的更长输入（50→100+ token）上能预测图灵机的下一步状态，表明其对任意算法任务的泛化潜力。需进一步探索更高效、通用的训练框架，以支持复杂现实任务的长度泛化。
faster r-cnn: towards real-time object detection with region proposal networks
06-28
### 回答1： Faster R-CNN是一种基于区域建议网络（Region Proposal Networks，RPN）的物体检测算法，旨在实现实时物体检测。它通过预测每个区域是否含有物体来生成候选框，并使用卷积神经网络（CNN）来确定候选框中的物体类别。Faster R-CNN在提高检测精度的同时，也显著提高了检测速度。 ### 回答2： 在计算机视觉领域中，目标检测一直是热门研究的方向之一。近年来，基于深度学习的目标检测方法已经取得了显著的进展，并且在许多实际应用中得到了广泛的应用。其中，Faster R-CNN 是一种基于区域建议网络（Region Proposal Networks，RPN）的目标检测方法，在检测准确率和速度之间取得了很好的平衡，能够实现实时目标检测。 Faster R-CNN 的基本框架由两个模块组成：区域建议网络（RPN）和检测模块。RPN 主要负责生成候选目标框，而检测模块则利用这些候选框完成目标检测任务。具体来说，RPN 首先在原始图像上以多个尺度的滑动窗口为基础，使用卷积网络获取特征图。然后，在特征图上应用一个小型网络来预测每个位置是否存在目标，以及每个位置的目标边界框的坐标偏移量。最终，RPN 根据预测得分和位置偏移量来选择一部分具有潜在对象的区域，然后将这些区域作为候选框送入检测模块。 检测模块的主要任务是使用候选框来检测图像中的目标类别和位置。具体来说，该模块首先通过将每个候选框映射回原始图像并使用 RoI Pooling 算法来获取固定大小的特征向量。然后，使用全连接神经网络对这些特征向量进行分类和回归，以获得每个框的目标类别和精确位置。 相比于传统的目标检测方法，Faster R-CNN 具有以下优点：首先，通过使用 RPN 可以自动生成候选框，避免了手动设计和选择的过程；其次，通过共享卷积网络可以大大减少计算量，提高效率；最后，Faster R-CNN 在准确率和速度之间取得了很好的平衡，可以实现实时目标检测。 总之，Faster R-CNN 是一种高效、准确的目标检测方法，是深度学习在计算机视觉领域中的重要应用之一。在未来，随着计算机视觉技术的进一步发展，Faster R-CNN 这类基于深度学习的目标检测方法将会得到更广泛的应用。 ### 回答3： Faster R-CNN是一种结合了深度学习和传统目标检测算法的新型目标检测方法，旨在提高目标检测速度和准确率。Faster R-CNN采用了Region Proposal Network（RPN）来生成候选区域，并通过R-CNN网络对候选区域进行分类和定位。 RPN是一种全卷积神经网络，用于在图像中生成潜在的候选区域。RPN通常在卷积特征图上滑动，对每个位置预测k个候选区域和其对应的置信度得分。这样，对于输入图像，在不同大小和宽高比的Anchor上预测候选框，可以在计算上更有效率。 R-CNN网络利用卷积特征图作为输入，对RPN生成的候选区域进行分类和精确定位。与以前的目标检测方法相比，Faster R-CNN使用了共享卷积特征，使得整个检测网络可以端到端地进行训练和优化，缩短了训练时间，同时也更便于理解和改进。 Faster R-CNN不仅具有较高的准确性，还具有较快的检测速度。在各种基准测试中，Faster R-CNN与其他目标检测算法相比，都取得了优异的性能表现。总之，Faster R-CNN将目标检测引入了一个新的阶段，为实时目标检测提供了一个良好的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值