通义发布语音模型 MinMo：全双工、多口音；MiniCPM-o ：端侧 GPT-4o 级视觉、语音、多模态实时流式大模型

开发者朋友们大家好：

这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE（Real-Time Engagement） 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文章 」、「有看点的 会议 」，但内容仅代表编辑的个人观点，欢迎大家留言、跟帖、讨论。

本期编辑：@qqq，@鲍勃

01有话题的技术

1、MiniCPM-o ：端侧可用的 GPT-4o 级视觉、语音、多模态实时流式大模型

MiniCPM-o 是从 MiniCPM-V 升级的最新端侧多模态大模型系列。该系列模型能够以端到端的方式，接受图像、视频、文本、音频作为输入，生成高质量文本和输出语音。自 2024 年 2 月以来，开发团队以实现高性能和高效部署为目标，发布了 6 个版本的模型。

目前系列中最值得关注的模型包括：

MiniCPM-o 2.6：MiniCPM-o 系列最新、性能最佳的模型。总参数量 8B，视觉、语音和多模态流式能力达到了 GPT-4o-202405 级别，是开源社区中模态支持最丰富、性能最佳的模型之一。在新的语音模式中，MiniCPM-o 2.6 支持可配置声音的中英双语语音对话，还具备情感/语速/风格控制、端到端声音克隆、角色扮演等进阶能力。模型也进一步提升了 MiniCPM-V 2.6 的 OCR、可信行为、多语言支持和视频理解等视觉能力。基于其领先的视觉 token 密度，MiniCPM-V 2.6 成为了首个支持在 iPad 等端侧设备上进行多模态实时流式交互的多模态大模型。

MiniCPM-V 2.6：MiniCPM-V 系列中性能最佳的模型。总参数量 8B，单图、多图和视频理解性能超越了 GPT-4V。它取得了优于 GPT-4o mini、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等的单图理解表现，并成为了首个支持在 iPad 等端侧设备上进行实时视频理解的多模态大模型。(@ OpenBMB@X)

2、8B 多模态语音大模型 MinMo，全双工、强情感、多口音「声情并茂 · 入戏走心」

阿里通义实验室最新的一款多模态模型：MinMo。它主打「可无缝语音交互」，在语音对话场景中，用起来更自然、更贴近人类的说话方式，还能支持不同的语气或方言。当用英语与 MinMo 聊天，讨论电影时：全双工语音交互意味着用户和系统同时说话也不会乱，MinMo 可以在 100 毫秒左右将语音转成文本，并在大约 600 毫秒的理论延迟或实际约 800 毫秒的条件下，完成双向交流。

换句话说，问一句未完，MinMo 已经在分析并给出反馈，过程几乎没有停顿。更有趣的是，它对语音生成也进行了大幅升级。用户可以指定情感、方言、说话风格，甚至是模仿某人的声音。与 MinMo 用中文聊天，同时控制 MinMo 的口音（四川话、粤语等）在对话中：用中文与 MinMo 聊天，指导 MinMo 进行情感互动和角色扮演：这种多样化的可控生成，让它在语音对话、多语言识别、多语言翻译、情感识别、说话人分析、音频事件分析等任务上表现不错。

官方还透露，他们有 140 万小时的语音数据训练，模型大约有 80 亿参数，但依然能保持原本文本 LLM 的理解能力。

目前看来，MinMo 专注的仍是「无缝语音聊天」，让人机对话像真人交流一样自然顺畅。与此同时，它也保有对指令的良好跟随能力：可以基于文本或者语音的提示，实现中英文或方言的切换，情绪、声线的选择与模拟。对那些想快速原型或做智能客服、语音助理的开发者而言，这似乎是个值得追踪的进展。在整体趋势上，大模型们正竞争着给用户带来「更真实的对话体验」。（@AI 进修生）

3、英伟达开源图像生成模型 Sana