Meta 推出 SeamlessM4T，无缝翻译和转录语音和文本

SeamlessM4T允许跨语音和文本单元进行评估的 BLASER 2.0 进行测试时，与目前最先进的语音到文本任务模型相比，SeamlessM4T 模型在语音到文本任务中对抗背景噪声和说话者变化的表现更好

Meta 宣布推出 SeamlessM4T，一种基础的多语言和多任务模型，可以无缝翻译和转录语音和文本。SeamlessM4T 支持：

• 自动语音识别近百种语言
• 近 100 种输入和输出语言的语音到文本翻译
• 语音翻译，支持近 100 种输入语言和 35 种（+ 英语）输出语言
• 近 100 种语言的文本到文本翻译
• 文本转语音翻译，支持近 100 种输入语言和 35 种（+ 英语）输出语言

 SeamlessM4T 已在 CC BY-NC 4.0 许可下发布，以便研究人员可以在此基础上进行开发。与此同时，Meta 还发布了一个多模式翻译数据集 SeamlessAlign，包含 270,000 小时的语音和文本对齐

SeamlessM4T 建立在 Meta 在该领域的现有工作基础上，包括 No Language Left Behind、Universal Speech Translator、SpeechMatrix 和 Massively Multilingual Speech。