CosyVoice2安装和下载，配置

2301_77640853

已于 2025-05-06 00:17:32 修改

阅读量876

点赞数 21

文章标签： python numpy conda pip web3.py

于 2025-05-06 00:12:50 首次发布

本文链接：https://blog.csdn.net/2301_77640853/article/details/147724800

版权

模型下载：:模型下载

注意此模型下载的是只有api的，如果需要页面网站的需要将https://funaudiollm.github.io/cosyvoice2/中的webui.py加入到上述模型下

官方实例文档：https://funaudiollm.github.io/cosyvoice2/

## �� CosyVoice ��

**CosyVoice 2.0**：[演示](https://funaudiollm.github.io/cosyvoice2/)；[论文](https://arxiv.org/abs/2412.10117)；[魔搭社区](https://www.modelscope.cn/studios/iic/CosyVoice2-0.5B)；[HuggingFace](https://huggingface.co/spaces/FunAudioLLM/CosyVoice2-0.5B)

**CosyVoice 1.0**：[演示](https://fun-audio-llm.github.io)；[论文](https://funaudiollm.github.io/pdf/CosyVoice_v1.pdf)；[魔搭社区](https://www.modelscope.cn/studios/iic/CosyVoice-300M)

## 亮点�

**CosyVoice 2.0** 已经发布！与 1.0 版本相比，新版本提供了更准确、更稳定、更快以及更好的语音生成能力。

### 多语言

- **支持的语言**：中文、英文、日语、韩语、中文方言（粤语、四川话、上海话、天津话、武汉话等）

- **跨语言与混合语言**：支持跨语言和代码切换场景下的零样本语音克隆。

### 超低延迟

- **双向流支持**：CosyVoice 2.0 集成了离线和流式建模技术。

- **首包快速合成**：在保持高质量音频输出的同时，实现了低至 150 毫秒的延迟。

### 高精度

- **发音改进**：与 CosyVoice 1.0 相比，发音错误减少了 30% 到 50%。

- **基准测试成果**：在 Seed - TTS 评估集的困难测试集中取得了最低的字符错误率。

### 强稳定性

- **音色一致性**：确保零样本和跨语言语音合成的可靠语音一致性。

- **跨语言合成**：与 1.0 版本相比有显著改进。

### 自然体验

- **增强的韵律和音质**：合成音频的对齐性得到改善，MOS 评估分数从 5.4 提高到 5.53。

- **情感和方言灵活性**：现在支持更细粒度的情感控制和口音调整。

## 路线图

- [x] 2024/12

- [x] 25Hz CosyVoice 2.0 发布

- [x] 2024/09

- [x] 25Hz CosyVoice 基础模型

- [x] 25Hz CosyVoice 语音转换模型

- [x] 2024/08

- [x] 重复感知采样（RAS）推理以提高大语言模型的稳定性

- [x] 支持流式推理模式，包括键值缓存（kv cache）和缩放点积注意力（sdpa）以优化实时因子（RTF）

- [x] 2024/07

- [x] 支持流匹配训练

- [x] 当 ttsfrd 不可用时支持 WeTextProcessing

- [x] Fastapi 服务器和客户端

## 安装

**克隆并安装**

- 克隆仓库

``` sh

git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git

# 如果由于网络故障未能克隆子模块，请运行以下命令，直到成功为止

cd CosyVoice

git submodule update --init --recursive

```

- 安装 Conda：请参阅 https://docs.conda.io/en/latest/miniconda.html

- 创建 Conda 环境：

``` sh

conda create -n cosyvoice -y python=3.10

conda activate cosyvoice

# pynini 是 WeTextProcessing 所需的，使用 conda 安装它，因为它可以在所有平台上运行。

conda install -y -c conda-forge pynini==2.1.5

pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

# 如果你遇到 sox 兼容性问题

# Ubuntu

sudo apt-get install sox libsox-dev

# CentOS

sudo yum install sox sox-devel

```

**模型下载**

我们强烈建议你下载我们预训练的 `CosyVoice2 - 0.5B`、`CosyVoice - 300M`、`CosyVoice - 300M - SFT`、`CosyVoice - 300M - Instruct` 模型以及 `CosyVoice - ttsfrd` 资源。

``` python

# SDK 模型下载

from modelscope import snapshot_download

snapshot_download('iic/CosyVoice2-0.5B', local_dir='pretrained_models/CosyVoice2-0.5B')

snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')

snapshot_download('iic/CosyVoice-300M-25Hz', local_dir='pretrained_models/CosyVoice-300M-25Hz')

snapshot_download('iic/CosyVoice-300M-SFT', local_dir='pretrained_models/CosyVoice-300M-SFT')

snapshot_download('iic/CosyVoice-300M-Instruct', local_dir='pretrained_models/CosyVoice-300M-Instruct')

snapshot_download('iic/CosyVoice-ttsfrd', local_dir='pretrained_models/CosyVoice-ttsfrd')

```

``` sh

# git 模型下载，请确保已安装 git lfs

mkdir -p pretrained_models

git clone https://www.modelscope.cn/iic/CosyVoice2-0.5B.git pretrained_models/CosyVoice2-0.5B

git clone https://www.modelscope.cn/iic/CosyVoice-300M.git pretrained_models/CosyVoice-300M

git clone https://www.modelscope.cn/iic/CosyVoice-300M-25Hz.git pretrained_models/CosyVoice-300M-25Hz

git clone https://www.modelscope.cn/iic/CosyVoice-300M-SFT.git pretrained_models/CosyVoice-300M-SFT

git clone https://www.modelscope.cn/iic/CosyVoice-300M-Instruct.git pretrained_models/CosyVoice-300M-Instruct

git clone https://www.modelscope.cn/iic/CosyVoice-ttsfrd.git pretrained_models/CosyVoice-ttsfrd

```

可选地，你可以解压 `ttsfrd` 资源并安装 `ttsfrd` 包，以获得更好的文本规范化性能。

请注意，此步骤不是必需的。如果你不安装 `ttsfrd` 包，我们将默认使用 WeTextProcessing。

``` sh

cd pretrained_models/CosyVoice-ttsfrd/

unzip resource.zip -d .

pip install ttsfrd_dependency-0.1-py3-none-any.whl

pip install ttsfrd-0.4.2-cp310-cp310-linux_x86_64.whl

```

**基本用法**

我们强烈建议使用 `CosyVoice2 - 0.5B` 以获得更好的性能。

请参考以下代码以了解每个模型的详细用法。

``` python

import sys

sys.path.append('third_party/Matcha-TTS')

from cosyvoice.cli.cosyvoice import CosyVoice, CosyVoice2

from cosyvoice.utils.file_utils import load_wav

import torchaudio

```

**CosyVoice2 用法**

```python

cosyvoice = CosyVoice2('pretrained_models/CosyVoice2-0.5B', load_jit=False, load_trt=False, fp16=False)

# 注意：如果你想复现 https://funaudiollm.github.io/cosyvoice2 上的结果，请在推理时添加 text_frontend=False

# 零样本用法

prompt_speech_16k = load_wav('./asset/zero_shot_prompt.wav', 16000)

for i, j in enumerate(cosyvoice.inference_zero_shot('收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。', '希望你以后能够做的比我还好呦。', prompt_speech_16k, stream=False)):

torchaudio.save('zero_shot_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

# 细粒度控制，有关支持的控制，请查看 cosyvoice/tokenizer/tokenizer.py#L248

for i, j in enumerate(cosyvoice.inference_cross_lingual('在他讲述那个荒诞故事的过程中，他突然[laughter]停下来，因为他自己也被逗笑了[laughter]。', prompt_speech_16k, stream=False)):

torchaudio.save('fine_grained_control_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

# 指令用法

for i, j in enumerate(cosyvoice.inference_instruct2('收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。', '用四川话说这句话', prompt_speech_16k, stream=False)):

torchaudio.save('instruct_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

# 双向流用法，你可以使用生成器作为输入，当使用文本大语言模型作为输入时，这很有用

# 注意：你仍然需要一些基本的句子分割逻辑，因为大语言模型无法处理任意长度的句子

def text_generator():

yield '收到好友从远方寄来的生日礼物，'

yield '那份意外的惊喜与深深的祝福'

yield '让我心中充满了甜蜜的快乐，'

yield '笑容如花儿般绽放。'

for i, j in enumerate(cosyvoice.inference_zero_shot(text_generator(), '希望你以后能够做的比我还好呦。', prompt_speech_16k, stream=False)):

torchaudio.save('zero_shot_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

```

**CosyVoice 用法**

```python

cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-SFT', load_jit=False, load_trt=False, fp16=False)

# SFT 用法

print(cosyvoice.list_available_spks())

# 将 stream 设置为 True 以进行分块流推理

for i, j in enumerate(cosyvoice.inference_sft('你好，我是通义生成式语音大模型，请问有什么可以帮您的吗？', '中文女', stream=False)):

torchaudio.save('sft_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M') # 或者改为 pretrained_models/CosyVoice-300M-25Hz 以进行 25Hz 推理

# 零样本用法，<|zh|><|en|><|jp|><|yue|><|ko|> 分别表示中文、英文、日语、粤语、韩语

prompt_speech_16k = load_wav('./asset/zero_shot_prompt.wav', 16000)

torchaudio.save('zero_shot_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

# 跨语言用法

prompt_speech_16k = load_wav('./asset/cross_lingual_prompt.wav', 16000)

for i, j in enumerate(cosyvoice.inference_cross_lingual('<|en|>And then later on, fully acquiring that company. So keeping management in line, interest in line with the asset that\'s coming into the family is a reason why sometimes we don\'t buy the whole thing.', prompt_speech_16k, stream=False)):

torchaudio.save('cross_lingual_{}.wav'.format(i), j['tts_speech'], cosyvoice.sample_rate)

# 语音转换用法

prompt_speech_16k = load_wav('./asset/zero_shot_prompt.wav', 16000)

```