开源语音合成和转换项目

开源语音合成和转换项目

大模型出来以后，语音合成和转换方面也有了很大的变化。在语音转换文字方面有Whisper、SeamlessM4T等；在语音合成方面有ChatTTS（中英文）、Orpheus TTS（仅仅支持英文）、Amphion；在语音克隆方面有CosyVoice、Amphion、MegaTTS 3等；为视频添加字幕VideoLingo。

1 语音合成

ChatTTS（中英文）
https://github.com/2noise/ChatTTS

Orpheus TTS（支持英文）
https://github.com/canopyai/Orpheus-TTS

2 语音克隆

CosyVoice（阿里 声音克隆）
https://github.com/FunAudioLLM/CosyVoice?_refluxos=a10

Amphion（声音克隆，生成语言）
https://github.com/open-mmlab/Amphion?_refluxos=a10

字节（声音克隆）
https://github.com/bytedance/MegaTTS3

3 视频字幕

VideoLingo（添加字幕），Netflix级字幕切割、翻译、对齐、甚至加上配音，一键全自动视频搬运AI字幕组
https://github.com/Huanshere/VideoLingo?_refluxos=a10

4 音频转文字

# faster-whisper基于CTranslate2重新优化了whisper，有效提升了whisper的性能
https://github.com/SYSTRAN/faster-whisper

# WhisperX融合faster-whisper提高性能、pyannote-audio区分信号和wav2vec 2.0自动语音识别预训练模型识别语音特征等，
# 实现单词级时间戳的自动语音识别
https://github.com/m-bain/whisperX