上海人工智能实验室：多模态实时流媒体模型

📖标题：InternLM-XComposer2.5-OmniLive: A Comprehensive Multimodal System for Long-term Streaming Video and Audio Interactions
🌐来源：arXiv, 2412.09596

🌟摘要

🔸创建可以与环境长期交互的人工智能系统，类似于人类认知，一直是一个长期的研究目标。多模态大语言模型（MLLM）的最新进展在开放世界理解方面取得了重大进展。然而，连续和同时流式传输感知、记忆和推理的挑战在很大程度上仍未得到探索。当前的MLLM受到其序列到序列架构的限制，这限制了它们同时处理输入和生成响应的能力，类似于在感知时无法思考。此外，依赖长上下文存储历史数据对于长期交互来说是不切实际的，因为保留所有信息变得成本高昂且效率低下。
🔸因此，该项目不是依赖于单一的基础模型来执行所有功能，而是从专业通才人工智能的概念中汲取灵感，引入了解纠缠的流感知、推理和记忆机制，实现了与流视频和音频输入的实时交互。提出的框架InternLM-XComposer2.5-OmniLive（IXC2.5-OL）由三个关键模块组成：（1）流感知模块：实时处理多模态信息，将关键细节存储在内存中，并根据用户查询触发推理。（2） 多模