【S2ST】PolyVoice: Language Models for Speech to Speech Translation

最新推荐文章于 2024-07-18 18:43:19 发布
最新推荐文章于 2024-07-18 18:43:19 发布
阅读量530 收藏 9
点赞数 10
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42262721/article/details/136586974
版权
本文介绍了PolyVoice，一种使用语言模型的语音到语音翻译系统，包括解码器-only模型、前端的翻译模块、后端的合成模块以及用于语义和音频单位预测的额外语言模型。它利用MHubert提取semanticunits，采用自回归和非自回归模型处理Acousticunits和SoundStreamCodec。
摘要由CSDN通过智能技术生成

PolyVoice: Language Models for Speech to Speech Translation


LM-based method in S2ST

contributions

  • Decoder-only model for speech2speech translation.
  • Unit-based audio LM predicts the SoundStream Codec

Overview of PolyVoice

在这里插入图片描述two LM-based components: a S2UT front-end for translation and a U2S back-end for synthesis.
An extra language model for duration prediction.

  • Semantic unit are extracted by mhubert
  • Acoustic units are soundstream codec(residual vector quantizer), using a autoregressive model and a non-autoregressive model.
cxxx17
关注
  • 10
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[已译完] Deep Structured Semantic Models (DSSM) 论文翻译
Andrwin的博客
05-06 938
使用点击数据学习用于Web搜索的深度结构化语义模型 Learning Deep Structured Semantic Models for Web Search using Clickthrough Data ABSTRACT 摘要 Latent semantic models, such as LSA, intend to map a query to its relevant documents at the semantic level where keyword-based matching o
awesome-speech-translation
05-06
FAIRSEQ S2T：使用FAIRSEQ进行快速语音到文本建模，AACL-2020演示， ， NeurST：神经语音翻译工具包，Arxiv-2020， ， 数据集 用于机器同声翻译研究的双语语音语料库的构建和利用，InterSpeech-2005， 基于语料...
Direct speech-to-speech translation with a sequence-to-sequence model
gdtop的个人笔记
04-17 3386
本篇详细介绍了Google Translate的新技术，从音频直接翻译音频。这个模型叫做S2ST(speech-to-speech translation)。原理是通过一个语音的声谱图映射到另一种语音的声谱图。 Abstract 我们提出了一种基于注意力的序列到序列神经网络，它可以直接将一种语言的语音转换成另一种语言的语音，而不依赖于中间文本表示。该网络经过端到端的训练，学习将语音谱图映射成另...
语音基石模型Speech Foundation Models
Barbara‘s Blog
07-23 1558
语音自监督学习模型。
每日学术速递6.10
与君共勉，一起学习
06-20 1335
与之前专注于静态图像理解的视觉 LLM（如 MiniGPT-4 和 LLaVA）不同，Video-LLaMA 主要解决视频理解中的两个挑战：（1）捕捉视觉场景中的时间变化，（2）整合视听信号。在这里，我们介绍了反事实世界建模 (CWM)，这是一个构建视觉基础模型的框架：一个统一的、无监督的网络，可以提示执行各种视觉计算。综上所述，我们的结果表明，CWM 是在概念上简单的基础上统一机器视觉的多方面分支的有前途的途径。我们使用以完全无监督的方式生成的离散语音单元，因此我们的框架可用于非书面语言。
Py之transformers：transformers的简介、安装、使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-08 9070
​ Py之transformers：transformers的简介、安装、使用方法、案例应用之详细攻略 目录 transformers的简介 transformers的使用方法 transformers的安装 transformers的案例应用 可提供的模型架构—目前194种 transformers的简介 transformers提供了数千个预先训练好的模型来执行不同模式的任务，如文本、视觉和音频。这些模型可应用于: >> 文本：用于文本分类、信息提取、问题回
近期语音大模型论文总结
03-20 1280
近期一些语音大模型相关论文摘要总结
七月论文审稿GPT第2.5和第3版：分别微调GPT3.5、Llama2 13B以扩大对GPT4的优势
结构之法 算法之道
02-04 4112
我司自去年7月份成立大模型项目团队以来，至今已有5个项目组，其中所有项目均为会对外上线发布的商用项目，而论文审稿GPT至今在过去的半年已经迭代两个版本，其中第二版的效果甚至超过了GPT4(详见《)，为了持续累积与原始GPT4的优势，我们如今正在迭代第2.5版本：包括对GPT3.5 turbo 16K的微调以及llama2 13B的微调，本文也因此而成。
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-12 8165
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读目录Paper：《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读Abstract1 Introduction简介2 Background背景2.1 Transfer Learning and Supervised Pre-Tra
《Deep Learning With Python second edition》英文版读书笔记：第十一章DL for text: NLP、Transformer、Seq2Seq
阿正的梦工坊
03-18 4615
python深度学习第二版读书笔记
wildfly-s2i:S2I for WildFly
04-27
注意：WildFly S2I映像现在在此存储库中开发。 它取代了仍可用于构建较旧映像的存储库 。 该存储库包含用于构建2个不同的WildFly docker映像的源： S2I WildFly构建器映像。 使用将WildFly应用程序构建为可重现的...
S2Texperiment:改善S2T
05-12
S2实验客观的通过注视和语音改善文本输入和编辑过程。内容资料夹-包含pertinenet背景资料，以更好地理解动机。 多峰文本编辑update.docx-提案暂定准则。 文字编辑工作清单-Google语音API提供的全面的文字编辑功能...
s2n：s2n：TLSSSL协议的实现
02-05
s2n是TLS / SSL协议的C99实现，旨在简单，小巧，快速并且以安全性为优先。 它是根据Apache License 2.0发布并获得许可的。Ubuntu快速入门GitHub上的Fork s2n 在Ubuntu上运行以下命令。 git clone ...
s2n-tls：s2n：TLSSSL协议的实现
02-23
s2n是TLS / SSL协议的C99实现，旨在简单，小巧，快速并且以安全性为优先。 它是根据Apache License 2.0发布并获得许可的。 Ubuntu快速入门 GitHub上的Fork s2n 在Ubuntu上运行以下命令。 git clone ...
基于语音识别的会议记录系统
最新发布
qq_51688022的博客
07-18 1276
本文简要介绍了本科毕设“基于语音识别的会议记录系统”的开发思路与成果
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 851
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
卷积神经网络学习问题总结
weixin_61681867的博客
07-17 630
均方误差函数（MSE）适用于回归任务，如预测房价、预测股票价格等。
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
Dxy1239310216的博客
07-18 454
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值