阿里巴巴开源自然语音交互框架；在抱抱脸上使用LivePortrait；58种提示技术的工具库

✨ 1: FunAudioLLM

FunAudioLLM是一个为人类和大型语言模型（LLMs）之间自然语音交互打造的语音理解和生成基础框架。

FunAudioLLM 是阿里巴巴集团Tongyi SpeechTeam推出的用于增强人类与大语言模型（LLM）自然语音交互的框架。该框架的核心包括两个创新的模型：SenseVoice和CosyVoice。

SenseVoice：这是一个多功能语音理解模型，具备高精度的多语言语音识别、情感识别和音频事件检测能力。其支持超过50种语言，延迟极低。

CosyVoice：这是一个自然语音生成模型，具备多语言、音色和情感控制能力。其在多语言生成、零样本生成、跨语言语音克隆和指令跟随能力方面表现出色。

FunAudioLLM整合SenseVoice和CosyVoice，实现了语音翻译、情感语音聊天、互动播客和富有表现力的有声书叙述等应用。这些模型已在Modelscope和Huggingface开源，并在GitHub上发布了相关的训练、推理和微调代码，推进了语音交互技术的发展。

语音翻译：通过SenseVoice、LLM和CosyVoice的结合，实现高效的语音-语音翻译，支持多种语言之间的互译。
情感语音聊天ÿ