FaceBook推出新的翻译模型Seamless!可实现跨语言交流的无缝衔接!

FaceBook **(中文名:脸书)**近期发布了一个新的翻译模型 Seamless Communication,可实现跨语言实时"无缝"交流。

该模型可以保留跨语言的表达方式和复杂性(翻译时保留语音中的停顿和语速,以及声音风格和情绪基调),语音翻译延迟大概只有两秒。

项目介绍

Seamless Communication 是一款开源多语音、语言、翻译、转录大模型。其官方模型名称之为 SeamlessM4T

Star:7k

项目地址:https://github.com/facebookresearch/seamless_communication

SeamlessM4T 模型支持以下任务:

  • 语音到语音翻译 (S2ST)

  • 语音到文本翻译 (S2TT)

  • 文本到语音翻译 (T2ST)

  • 文本到文本翻译 (T2TT)

  • 自动语音识别 (ASR)

无缝表达

SeamlessExpressive 是一种语音到语音翻译模型,可捕捉韵律中某些未充分探索的方面,例如语速和停顿,同时保留语音风格和高内容翻译质量。

无缝流媒体

SeamlessStreaming 是一种流式翻译模型。该模型支持语音作为输入模态和语音/文本作为输出模态。

无缝流媒体 模型支持以下任务:

  • 语音到语音翻译 (S2ST)

  • 语音到文本翻译 (S2TT)

  • 自动语音识别 (ASR)

快速使用

该模型使用的必要条件之一是fairseq2,它具有仅适用于 Linux x84-86 和 Apple-silicon Mac 计算机的预构建软件包。

此外,它还依赖于libsndfile

源代码中官方内置了一个Demo样例,可以进行本地模型测试:

cd demo   
pip install -r requirements.txt   
python app.py

总结

SeamlessM4T 在技术层面实现了巨大突破,支持多达100种语音、语言,同时与单一翻译产品相比,翻译效率/质量、降低延迟方面更优秀,使得全球不同地区的人可以实现流程的交流。

在进行鲁棒性测试时,与当前最先进的翻译模型相比,SeamlessM4T在语音转文本任务中针对背景噪声和说话人变化的表现更好,平均分别提高了37%和48%。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孜孜孜孜不倦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值