最新轻量级文本转语音，parler-tts模型部署

Parler-TTS是一个由 Hugging Face 推出的开源文本转语音的模型。

Parler-TTS能够根据文本提示生成高质量、自然听起来的语音，并且能够模仿特定说话者的风格，如性别、音调和说话风格等。

Parler-TTS的架构基于MusicGen，包含文本编码器、解码器和音频编解码器，通过集成文本描述和添加嵌入层优化了声音生成。

Parler-TTS发布了两个模型，一个是参数量为 880M的Mini模型，一个是参数量为 2.3B的Parler-TTS Large模型。

github项目地址：https://github.com/huggingface/parler-tts。

一、环境安装

1、python环境

建议安装python版本在3.10以上。

2、pip库安装

pip install git+https://github.com/huggingface/parler-tts.git

二、功能测试

1、运行测试：

（1）python代码调用测试

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

prompt = "Hey, how are you doing today?"
description = "Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_output.wav", audio_arr, model.config.sampling_rate)

未完......

更多详细的内容欢迎关注：杰哥新技术