![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ST
文章平均质量分 95
cxxx17
为什么可乐一定要加冰
展开
-
【ST】M2BART
语音和语言模型向着统一的方向发展,一个单独的模型可以解决200种语言的翻译和100种语言的转写。统一的模型简化了开发,部署,更重要的是在低资源的音频上实现了知识的迁移。这篇论文引入了M2BART,一个流式的多语言和多模态的encoder-decoder模型。他应用了自监督的speech tokenizer, 建立起语音和文本之间的桥梁。用统一的学习目标学习单模态和多模态知识,应用unsupervised 和 supervised的数据。原创 2024-05-15 00:55:22 · 810 阅读 · 0 评论 -
【S2ST】TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encodin
传统的方法需要parallel的语音训练,这个工作中引入了,不需要parallel的语言数据。为了摆脱对平行语料的依赖,应用了与语言无关的句子级别的语义信息。尽管训练只用了单语言数据,推理的时候可以产生target language的语音。同样的也在多语言speech-to-speech场景下做了实验,超过了之前的方法。原创 2024-05-11 21:10:52 · 602 阅读 · 0 评论 -
【S2ST】UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units
Direct S2ST 由于简单的pipeline,从而实现了更快的推理速度,本文介绍了UnitY, 一个两阶段的方法。首先产生文本的表示,然后预测音频的离散序列。应用了subword prediction在第一阶段的decoder,新颖的第二阶段的decoder结构设计和搜索策略,从而实现了模型性能的提升。为了利用大量未标记的文本数据,本文基于自监督去噪自动编码任务预训练第一阶段文本解码器。原创 2023-12-15 18:30:16 · 1232 阅读 · 0 评论 -
【S2ST】Enhanced Direct S2ST Translation Using Self-supervised Pre-training and Data Augmentation
与自动语音识别 (ASR)、机器翻译 (MT) 和文本到语音 (TTS) 合成等传统级联系统可用的数据量相比,直接语音翻译 (S2ST) 模型存在数据稀缺问题。使用未标记的语音数据和数据增强进行自监督预训练来解决这个问题。得到了6.6-12.1 BLEU 的提升。原创 2023-12-11 16:15:41 · 912 阅读 · 0 评论 -
【S2ST】Direct Speech-to-Speech Translation With Discrete Units
应用自监督方法,生成target speech离散的units(S2UT), 从离散的units建模speech。当target text可以获得时,本文设计了一个语音和文本联合训练的框架,可以同时产生文本和语音两个模态的输出。在Fisher SpanishEnglish dataset数据集上,与Transformer Translatotron相比提升了6.7 BLEU。原创 2023-12-06 15:30:37 · 1108 阅读 · 0 评论