强化学习曾小健

模型结构如下图所示：多语言语音识别：经过超过40万小时的数据训练，支持50多种语言，其识别性能超越了Whisper模型。丰富的转录能力：具备出色的情感识别能力，在测试数据上超越了当前最佳模型。提供声音事件检测能力，支持检测各种常见的人机交互事件，如背景音乐、掌声、笑声、哭泣、咳嗽和打喷嚏。高效推理：SenseVoice-Small模型采用非自回归的端到端框架，具有极低的推理延迟。处理10秒音频仅需70毫秒，比Whisper-Large快15倍。便捷的微调：提供便捷的微调脚本和策略。

GLM-4-Voice 的整体架构通过Tokenizer、Decoder 和预训练模型相结合，实现了高效、低延迟的实时语音对话能力。其流式思考架构进一步提升了用户交互体验，使得模型能够灵活应对多种语言和情感表达需求。这一系列设计使得 GLM-4-Voice 在多模态交互领域具有显著优势。GLM-4-Voice是一款由智谱AI推出的端到端语音模型，旨在实现多语言、多方言的实时语音对话，并支持情感、语调、语速和方言的自定义调整。：该组件负责将连续的语音输入转化为离散的token。

原创 小兵 小兵的AI视界 2024年12月03日 07:01 广东在当今科技飞速发展的时代，声音克隆技术作为人工智能领域的一项重要成果，正逐渐走进我们的生活。今天，就让我们一同深入了解一款备受瞩目的声音克隆工具——clone-voice。clone-voice是一款免费开源的声音克隆工具，它凭借先进的人工智能技术，能够分析和模拟人类声音的特征，从而实现高质量的声音克隆. 只需提供一段简短的音频样本，它就可以根据该样本生成与原始声音极其相似的克隆声音，并且支持多种语言，目前包括中文、英文、日语、韩语等，甚至

CorentinJ的Real-Time Voice Cloning项目是一个开创性的开源项目，它能在短短几秒内克隆声音，并实时生成指定文本的语音，为语音合成领域带来重大突破。该项目基于深度学习框架，分三个阶段处理，借鉴了多篇重要论文的技术成果。项目支持多系统，使用Python语言开发，使用前需安装相关依赖，还可选择下载预训练模型和数据集，操作便捷。

测评结果显示，实时语音产品总体表现差异较大，分层现象明显。国内头部产品在实时中文语音能力上表现领先，讯飞星火综合表现最强，位居第一，海外产品ChatGPT-4o紧随其后，国内的豆包与海螺AI也表现不俗，展现了各自的优势。

在一个通用的AI系统中，核心模型应该能够理解不同模态的信息。当前的大语言模型现在已经能够理解语言并进行推理，并且已经扩展到了更多的模态，包括视觉和音频。此前我们陆续发布了多个 Qwen 语言模型系列以及 Qwen-VL 和Qwen-Audio 等多模态模型。今天，我们正式发布 Qwen2-Audio。这是 Qwen-Audio 的下一代版本，它能够接受音频和文本输入，并生成文本输出。Qwen2-Audio 具有以下特点：语音聊天：用户可以使用语音向音频语言模型发出指令，

在不久的将来，他们计划在更大的预训练数据集上训练改进的 Qwen2-Audio 模型，使模型能够支持更长的音频（超过 30 秒）。下图所示的结果表明，Qwen2-Audio 在所有任务中的表现始终优于之前的 SOTA 和我们之前的 Qwen-Audio 模型。Qwen 团队在 Hugging Face 和 ModelScope 上发布了 Qwen2-Audio-7B 和 Qwen2-Audio-7B-Instruct 作为开放权重模型，同时还发布了一个供用户交互的演示。Qwen2-Audio 的性能。

当您删除聊天记录时，我们还会在 30 天内删除相关的音频和视频片段，除非我们出于安全或法律原因需要保留它，或者您之前曾与我们分享过音频或视频片段来训练我们的模型，并且音频或视频片段之前已与您的帐户取消关联。但免费版、Plus 版和专业版用户可以选择分享语音聊天中的音频和视频片段来帮助我们训练模型，方法是在数据控制中启用“为所有人改进模型”，然后切换为“包括您的音频记录”和“包括您的视频记录”。如果您选择分享语音聊天中的音频和视频，那么今后我们将使用您对话中的音频和视频来训练我们的模型。

国产最强语音大模型诞生，MaskGCT宣布开源，声音效果媲美人类机器之心2024年10月30日 12:55北京AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com近期，港中大（深圳）联手趣丸科技联合推

GLM-4-Voice是智谱AI推出的一款端到端情感语音模型，它具备直接理解和生成中英文语音的能力，支持实时语音对话，并能根据用户的指令灵活调整语音的情感、语调、语速和方言等特征。GLM-4-Voice模型由GLM-4-Voice-Tokenizer、GLM-4-Voice-9B和GLM-4-Voice-Decoder三个部分组成，实现了音频的输入和输出的端到端建模。GLM-4-Voice能够模拟不同的情感和语调，如高兴、悲伤、生气、害怕等，用合适的情绪语气进行回复，提升了语音交互的自然度和流畅性。

当下开源的语音大模型（最好是端到端）有哪些Web-SearchPoe当前开源的端到端语音大模型主要有以下几种：Mini-Omni这是全球首个开源的端到端实时语音多模态模型，支持语音输入和流式语音输出。Mini-Omni通过文本和语音的同时生成，降低了语音推理的难度，并且避免了传统模型在生成完整文本后再生成语音的延迟问题。该模型在使用较小参数（0.5B）和少量数据的情况下，表现出色，尤其在实时语音问答和语音识别方面[1]。

原创 Moffe 河东小郢 2024年09月11日 07:00 安徽体验效果（windows还有点问题，这里放出来的是mac环境下的效果。因为没有GPU，实时对话时卡顿比较严重，已加速1.5倍。录制的时候有回声，折腾不动了，下次改进吧😂）：进度条，百分之76┃项目推荐值 ★★☆☆☆GPU算力够的情况下，实时对话体验很好，但如果没有独立显卡，只有cpu（如mac）则不推荐安装部署，否则就是上面视频上的卡顿效果利用一个qwen2 0.5B的开源模型训练而成，离线部署是一个很好的小模型实时对话应用尝试，值得后续

开源语音实时交互新突破：LLaMA-Omni实现大语言模型无缝语音交互原创旺知识旺知识2024年09月22日 12:20广东像 GPT-4o 这样的模型通过语音实现了与大型语言模型（LLMs）的实时交互，与基于文本的传统交互相比，显著提升了用户体验。然而，目前在如何构建基于开源 LLMs 的语音交互模型方面仍缺乏探索。为了解决这个问题，我们提出了 LLaMA-Omni，这是一个新颖的模型架构，旨在与 LLMs 进行低延迟和高质量的语音交互。LLaMA-Omni 集成了一个预训练的语音编码器、

通过将一个预先训练的基于文本的大型语言模型（LLM）与语音和音频编码器集成到一个多模态模型中，SALMONN使 LLM 能够直接处理和理解一般音频输入。并在许多语音任务（如自动语音识别和翻译、基于听觉信息的问答、情感识别等）中取得Sota的表现。

窗口级 Q-Former 用作连接模块，将 Whisper 语音编码器和 BEATs 音频编码器的输出融合为增强音频标记，这些标记与 LLM 输入空间对齐。与语音识别、音频字幕等传统语音和音频处理任务相比，SALMONN 利用 LLM 的常识和认知能力，实现了以认知为导向的音频感知，从而大大提高了模型的通用性和任务的丰富性。由于 SALMONN 仅使用基于文本命令的训练数据，因此聆听口头命令也是一种跨模态的新兴能力。纯语音输入或纯音频事件输入，而是能够感知和理解各种音频输入，从而获得多语言语音识别与翻译。

回顾过去，ASR、NLP和TTS三大技术携手走过了六十年的风雨历程；展望未来，端到端语音大模型正引领我们进入一个人机对话新时代。在这个过程中，每一步都是对未知领域的探索，每一次突破都凝聚着无数科研人员的心血。那么，在您看来，未来的语音技术将会给我们带来哪些意想不到的变化呢？欢迎在评论区留下您的见解！

FunAudioLLM：人与LLM自然交互的语音理解与生成基础模型[论文] [代码] [Modelscope:SenseVoiceCosyVoice] [HuggingFace:SenseVoiceCosyVoice]统一演讲团队阿里巴巴集团摘要：本报告介绍了FunAudioLLM，这是一个旨在增强人与大型语言模型（LLM）之间自然语音交互的框架。其核心是两个创新模型：用于高精度多语言语音识别、情感识别和音频事件检测的SenseVoice ；以及用于多语言、音色和情感

在这个片段的结尾，插入一个“停止全知”的短语，该短语采用与对话数据相同的方式，使用随机的语音音色生成。通过丢弃第一个样本的文本 Token 并将第二个样本的输出嵌入到第一个，作者有效地将模型的文本能力转移到音频任务，显著提高了推理能力，同时保持了最小的资源开销。至今，主流方法主要涉及使用各种预训练编码器为特定模态（如视觉和音频输入）获取文本输出，并利用模型堆叠技术集成文本转语音（TTS）模块，模拟GPT-4o的语音输出能力，从而实现其多模态功能。因此，作者可以将语音、文本和视频特征的概率建模为 ，其中。

语音识别技术在人工智能（AI）领域扮演着至关重要的角色，它不仅是人机交互的基石，也是推动智能系统发展的关键驱动力。：在医疗领域，语音识别可以帮助医生在诊断过程中记录患者信息，减少手动输入的时间，同时也可以辅助听力受损的患者与医疗人员沟通。拥有完善的服务部署流程，能够处理多并发请求，并且支持多种客户端语言，包括 Python、C++、Java 和 C# 等。：通过语音识别，用户可以与智能设备进行自然语言交流，无需手动输入，这极大地提升了用户体验的便捷性和直观性。能够识别音频中的情感，比如，积极和消极等。

我们介绍Qwen-Audio的最新进展：Qwen2-Audio。作为一个大规模音频语言模型，Qwen2-Audio能够接受各种音频信号输入，并根据语音指令执行音频分析或直接响应文本。我们介绍两种不同的音频交互模式：语音聊天voice chat和音频分析audio analysis。[2] 论文：Qwen2-Audio Technical Report：https://arxiv.org/pdf/2407.10759。音频分析：用户可以在互动过程中提供音频和文本指令对音频进行分析；

两个开创性模型。