index-tts-vllm：高性能文本转语音解决方案

index-tts-vllm：高性能文本转语音解决方案

index-tts-vllm Added vLLM support to IndexTTS for faster inference. 项目地址: https://gitcode.com/gh_mirrors/in/index-tts-vllm

项目介绍

index-tts-vllm 是一款开源的文本转语音（TTS）项目，基于 index-tts 进行了优化，通过引入 vllm 库重新实现了 GPT 模型的推理过程，大幅提升了推理速度和并发处理能力。项目旨在为开发者提供一个高效、稳定、易于集成的 TTS 解决方案。

项目技术分析

index-tts-vllm 采用了以下核心技术：

• vllm 库：用于加速 GPT 模型的推理，提高了单个请求的实时因子（RTF）和每秒解码的 token 数量。
• 多角色音频混合：通过支持多个参考音频的输入，实现 TTS 输出声线的混合，提供了更加丰富和个性化的语音输出。
• fastapi：封装了 API 接口，方便用户通过 HTTP 请求进行文本转语音的操作。

项目及技术应用场景

index-tts-vllm 适用于以下场景：

1. 语音合成：在智能助手、客服机器人、教育应用等领域，实现文本到语音的快速合成。
2. 音频内容生成：为视频、游戏、播客等媒体内容提供高质量的语音旁白。
3. 语音交互：在智能家居、车载系统等交互场景中，提供自然流畅的语音反馈。

项目特点

以下是 index-tts-vllm 的主要特点：

1. 推理速度快

在单卡 RTX 4090 上，index-tts-vllm 的推理速度有显著提升：

• 单个请求的 RTF 从 ≈0.3 降至 ≈0.1
• 单个请求的 GPT 模型解码速度从 ≈90 token/s 提升至 ≈280 token/s
• 在显存占用 50%（约 12GB）的情况下，并发量可达两百多，保守估计 20 左右的并发无压力。

2. 支持多角色音频混合

index-tts-vllm 允许用户传入多个参考音频，实现 TTS 输出的角色声线混合，提供了更加个性化的语音输出。虽然输入多个参考音频可能导致输出的声线不稳定，但用户可以尝试抽取满意的声线作为参考。

3. 易于部署和使用

项目提供了详细的部署和使用步骤，包括环境搭建、模型权重下载和转换、以及 WebUI 的启动。同时，通过 fastapi 封装了 API 接口，方便用户进行远程调用。

4. 社区支持和持续更新

作为开源项目，index-tts-vllm 拥有活跃的社区和持续的更新。开发者可以随时获取最新的优化和功能改进。

总结

index-tts-vllm 以其高效的推理速度、灵活的多角色音频混合以及易用性，成为了一个值得推荐的文本转语音解决方案。无论是个人开发者还是企业用户，都可以从中获得高质量、高性能的语音合成体验。立即尝试 index-tts-vllm，开启您的语音合成之旅吧！

index-tts-vllm Added vLLM support to IndexTTS for faster inference. 项目地址: https://gitcode.com/gh_mirrors/in/index-tts-vllm