阿里音频生成大模型一次发俩还开源！ sense voice+cosy voice

最新推荐文章于 2025-02-27 15:38:15 发布

monster justin

最新推荐文章于 2025-02-27 15:38:15 发布

阅读量4.2k

点赞数 32

文章标签：音视频 python 语音识别阿里云

本文链接：https://blog.csdn.net/m0_50869837/article/details/140271084

版权

最新发布开源语音大模型项目FunAudioLLM，而且一次包含两个模型：SenseVoice和CosyVoice。

SenseVoice专注高精度多语言语音识别、情感辨识和音频事件检测，支持超过50种语言识别，效果优于Whisper模型，中文与粤语提升50%以上。

且情感识别能力强，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件检测，多方面测试拿下SOTA。

CosyVoice则专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。

仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。

而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。

一、项目体验

可以直接在网页上进行体验，无需对环境进行任何安装等等，很方便。
CosyVoice在线体验：https://www.modelscope.cn/studios/iic/CosyVoice-300M

SenseVoice在线体验：https://www.modelscope.cn/studios/iic/SenseVoice

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

monster justin

关注关注

32
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

SenseVoice 使用教程

步子哥的博客

12-28

2545

SenseVoice 是一个具备音频理解能力的模型，支持多种功能，如语音识别（ASR）、语种识别（LID）、语音情感识别（SER）以及声学事件分类（AEC）或检测（AED）。SenseVoice 是一个强大的音频理解模型，支持多种功能。如果您需要使用特定版本的 SenseVoice 模型，建议从 GitHub 仓库中克隆代码并进行安装。SenseVoice 支持根据您的数据进行微调，以提高特定场景下的性能。在使用 SenseVoice 的过程中，如果您遇到任何问题，可以参考 GitHub 仓库中的。

语音生成/语音复刻CosyVoice语音生成大模型2.0-0.5B

最新发布

NLP与推荐算法

03-20

247

CosyVoice 2.0 是一款全新升级的多语言语音生成模型，相较于 1.0 版本，它在准确性、稳定性、速度和语音生成能力上都有显著提升。

参与评论您还未登录，请先登录后发表或查看评论

FunAudioLLM：阿里通义实验室的开源语音大模型项目 - SenseVoice与CosyVoice模型介绍

qq_26303031的博客

08-09

3292

深入了解FunAudioLLM，阿里巴巴通义实验室开源的先进语音技术项目。SenseVoice和CosyVoice两大模型，以其高精度多语言语音识别、情感辨识和自然语音生成能力，引领语音交互的新时代。本文详细解析了技术原理、社区开发资源，为语音技术爱好者和专业人士提供了指南

本地部署SenseVoice（包括离线设备操作）

Arvin627的博客

02-27

1656

下载完成后，自定义路径后安装。在开始菜单中出现Anaconda Prompt说明安装成功。注：安装过程中可自定义安装路径，其他都选择回车或yes。注：安装过程中是否初始化conda环境：可选择yes，将会在默认shell环境脚本（如~/.bashrc）文件末，添加conda init内容。可选择no，可自己配置，在shell环境脚本中添加conda init即可，可参考下面配置环境变量。。

阿里开源语音理解和语音生成大模型FunAudioLLM

声纹感知洞察芯声

07-08

5991

阿里开源大模型FunAudioLLM，一个创新的框架，旨在促进人类与大型语言模型（LLMs）之间的自然语音交互。FunAudioLLM的核心是两个开创性的模型：用于语音理解的SenseVoice和用于语音生成的CosyVoice。

SenseVoice&CosyVoice了解

weighless的博客

07-25

5473

SenseVoice是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。想要conda使用这个，就需要在安装依赖前，把这个文件放到conda目录下的wheels目录，然后在requirements.txt文件中添加--find-links /opt/miniconda3/wheels，这样在下载依赖中就会跳过这部分的下载。下载模型（模型存放地址在pretrained_models目录下）

大型音频模型：AudioLLMs

xw555666的博客

11-03

1200

大型音频模型（Large Audio Models，简称AudioLLMs）是近年来人工智能领域的一个重要研究方向，它们基于深度学习和大模型架构，能够处理和理解复杂的音频数据。

阿里云通义千问开源两款语音基座模型分别是SenseVoice和CosyVoice

weixin_41446370的博客

07-10

4094

阿里巴巴近期发布了开源语音大模型项目FunAudioLLM，该项目包含了两个核心模型：SenseVoice和CosyVoice。可以精准多语言识别并且进行语音克隆。SenseVoice：精准多语言识别与情感辨识。CosyVoice：自然语音生成的新标杆。

阿里开源语音大模型CosyVoice：3秒还原声音，从部署到克隆的完整指南

2401_85343303的博客

08-05

6041

又写了一篇从零开始部署开源大模型项目的文章，之前写了很多有兴趣的同学可以找到我的主页看看，后面也会继续关注相关的内容，如果感兴趣可以继续关注我，或者可以留言告诉我想看什么大模型实测效果。如果觉得内容不错，欢迎点个关注。

阿里通义音频生成大模型 FunAudioLLM 开源！

stephen147的博客

07-06

3752

人类对自身的研究和模仿由来已久，在我国2000多年前的《列子·汤问》里就描述了有能工巧匠制作出会说话会舞动的类人机器人的故事。声音包含丰富的个体特征及情感情绪信息，对话作为人类最常使用亲切自然的交互模式，是连接人与智能世界至关重要的环节。近日，阿里通义实验室发布并开源了语音大模型项目，旨在深化人类与大型语言模型（LLMs）之间的自然语音交互体验。这一框架的核心是两个创新模型：SenseVoice和CosyVoice。

Cosy3.1.3全开源无加密+积木部分插件

09-11

Cosy3.1.3全开源无加密+积木部分插件这一软件版本的发布，为用户和开发者提供了一个全新的体验，它不仅完全开放源代码，而且没有加密限制，这意味着它是一个完全透明的软件解决方案。此外，它还引入了积木部分插件的...

多模态大模型--音频&文本

weixin_36378508的博客

07-17

2157

的目标是，通过减少音频文件的大小来节省存储空间或减轻网络传输的负担。理想的情况下，即使音频被压缩，我们听到的声音与原版也应该没有任何区别。Opus是一个多才多艺的音频编解码器，它适用于各种应用，从视频会议（比如 Google Meet）到在线视频流（比如 YouTube）。Opus支持的压缩比率非常灵活，从每秒6千比特到每秒510千比特都可以。EVS，是由3GPP标准化组织针对移动电话>)开发的最新编解码器。它也支持不同的压缩比率，从每秒5.9千比特到每秒128千比特。

音频模型介绍

xw555666的博客

11-03

1430

在处理音频数据方面，有多种模型表现出色，它们在不同的音频处理任务上有着各自的优势。这些模型在音频处理的不同领域，如语音识别、音频分类、音乐生成、语音合成等方面都有着显著的表现和应用。

FunAudioLLM SenseVoice语音转录(ASR)与CosyVoice语音合成(TTS)及语音克隆使用案例；webui可视化页面操作使用

weixin_42357472的博客

07-09

2393

参考： https://fun-audio-llm.github.io/ 在线体验：https://modelscope.cn/studios/iic/CosyVoice-300M 参考：https://github.com/FunAudioLLM/SenseVoice下载：使用：参考：https://github.com/FunAudioLLM/CosyVoice 在线体验：https://www.modelscope.cn/studios/iic/CosyVoice-300M 这里docker运行

阿里开源语音模型CosyVoice整合包20240728

cybersnow精通 28 门计算机语言，凭借其超凡的技术能力，成功开发过上万个应用，广泛涉及政府、商业、个人等众多领域，甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发，在软件架构设计方面更是独树一帜，自创了跨平台软件

07-28

2684

运行环境0)],240)],241)],0)],427)],0)],427)],0)],0)],240)],230)],230)],230)],432)],0)],240)],0)],240)],0)],240)],240)],240)],240)],0)],240)],427)],0)],0)],0)],0)],0)],

2023年的深度学习入门指南(24) - 处理音频的大模型 OpenAI Whisper

lusing的专栏

07-31

4341

在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whisper模型，它是一个处理音频的大模型。

AudioLM: 音频生成模型

06-29

861

它利用深度学习技术，尤其是生成对抗网络（GANs）或变分自编码器（VAEs），结合声音合成和信号处理技术，从输入的文本、图像或其他形式的数据中生成音频。生成对抗网络（GANs）的引入使得模型能够更好地学习和模仿复杂的音频特征，而变分自编码器（VAEs）则提供了更高的音频生成多样性和创造力。音频生成模型的核心功能之一是将文本转换为自然语音。除了语音和音乐，音频生成模型还能够模拟和创造各种环境音效，如自然界的声音（如鸟鸣、风声、雨声）、城市生活中的背景音（如交通声、人声嘈杂声）以及科幻或幻想世界中的特效声音。

阿里通义音频生成大模型 FunAudioLLM 开源

specssss的博客

07-12

1749

近年来，人工智能（AI）技术的进步极大地改变了人类与机器的互动方式，特别是在语音处理领域。阿里巴巴通义实验室最近开源了一个名为FunAudioLLM的语音大模型项目，旨在促进人类与大型语言模型（LLMs）之间的自然语音交互。FunAudioLLM包含两个核心模型：SenseVoice和CosyVoice，分别负责语音理解和语音生成。

CosyVoice多语言、音色和情感控制模型，one-shot零样本语音克隆模型本地部署(Win/Mac),通义实验室开源

刘悦的技术博客

07-07

5261

平心而论，CosyVoice不愧是大厂出品，模型的品质没的说，代表了国内AI的最高水准，通义实验室名下无虚，当然，如果能将工程化之后的代码也开源出来，那就更好了，相信经过libtorch的优化，这个模型将会是开源TTS的不二选择。

使用大模型工具，生成一段声音

03-10

### 使用大模型工具生成音频的方法对于希望利用大型模型工具来生成音频的任务，可以借鉴当前前沿研究和技术进展中的方法。音乐本质上是由一系列声波构成的声音序列，但为了便于计算，通常将其转换为数字格式，如MIDI文件或音频波形[^1]。这种数字化表示让每首歌曲成为一串有序的数据点，非常适合用于训练深度学习模型。具体到实际操作层面，以阿里通义实验室开源的FunAudioLLM为例，该模型包含了两个核心部分：SenseVoice 和 CosyVoice，其中后者专注于语音生成任务[^2]。要使用这类先进的音频生成功能，一般遵循以下几个方面： #### 准备工作环境确保拥有合适的开发环境是第一步。这可能涉及到安装特定版本的Python以及必要的库和支持软件包。对于基于PyTorch框架构建的大规模预训练模型来说，还需要配置GPU支持以便加速运算过程。 #### 获取并加载预训练模型许多现代音频合成系统都依赖于预先训练好的权重参数来进行高效的初始化。通过官方渠道下载最新的预训练模型，并按照文档说明正确导入至本地环境中是非常重要的一步。 #### 数据准备与处理高质量的数据集对于任何机器学习应用都是至关重要的资源之一。当目标是在已有基础上进一步优化或者微调现有模型时，则需收集足够的标注数据作为输入素材。这些原始资料应当经过适当的前处理步骤——比如清理噪声、标准化采样率等——之后再送入网络内部参与迭代更新流程。 #### 调整超参数设置不同的应用场景往往对应着各异的最佳实践方案；因此，在正式部署之前调整一些关键性的超参（例如学习速率、批次大小）有助于提升最终产出的质量水平。此外，还可以尝试探索更多新颖的设计思路，像引入注意力机制或是采用更复杂的架构设计等等。 #### 测试评估与反馈循环完成初步设定后即进入验证环节，此时应选取一部分预留样本执行预测测试，以此检验整个系统的稳定性和准确性表现如何。根据所得结果不断修正错误直至满意为止，形成良好的闭环控制体系。 ```python from funaudiollm import FunAudioLLM, CosyVoice model = FunAudioLLM.load_model('path_to_pretrained_weights') cosy_voice = model.get_generator() audio_output = cosy_voice.generate(text_input="Hello world!") ```