Parler-TTS是一个由 Hugging Face 推出的开源文本转语音的模型。
Parler-TTS能够根据文本提示生成高质量、自然听起来的语音,并且能够模仿特定说话者的风格,如性别、音调和说话风格等。
Parler-TTS的架构基于MusicGen,包含文本编码器、解码器和音频编解码器,通过集成文本描述和添加嵌入层优化了声音生成。
Parler-TTS发布了两个模型,一个是参数量为 880M的Mini模型,一个是参数量为 2.3B的Parler-TTS Large模型。
github项目地址:https://github.com/huggingface/parler-tts。
一、环境安装
1、python环境
建议安装python版本在3.10以上。
2、pip库安装
pip install git+https://github.com/huggingface/parler-tts.git
二、功能测试
1、运行测试:
(1)python代码调用测试
import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")
prompt = "Hey, how are you doing today?"
description = "Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_output.wav", audio_arr, model.config.sampling_rate)
未完......
更多详细的内容欢迎关注:杰哥新技术