AAAI 2022：三角分解一致性约束的端到端语音翻译丨AI Drive

端到端语音翻译由于其错误传播更少、延迟更低和模型更小的潜力而变得越来越流行。

对于给定三元组训练语料</speech,transcription,translation></speech,transcription,translation>，传统的高质量端到端语音翻译系统利用预训练模型，然后利用进一步优化它。

然而，该过程在每个阶段只涉及二元组数据，这种松散耦合未能充分利用三元组数据之间的关联。我们的工作尝试基于语音输入对转录和翻译的联合概率进行建模，以直接利用此类三元组数据。在此基础上，提出了一种新颖的三角分解一致性正则化训练方法，以提高对偶路径分解的一致性。

针对这一问题，本期 AI Drive 由中国科学技术大学硕士生-杜逸超解读其团队的解决思路，也是他们发表于 AAAI 2022 的最新工作：三角分解一致性约束的端到端语音翻译三角分解一致性约束的端到端语音翻译（Regularizing End-to-End Speech Translation with Triangular Decomposition Agreement）。

这项工作由中国科学技术大学、阿里巴巴达摩院、罗格斯大学以及腾讯 AI Lab 联合完成。

本期内容将主要分为（“数据实战派”后台可获取直播ppt）：

1、背景知识：语音翻译任务的定义及相关⼯作的回顾
2、本次研究提出的方法：三⻆分解⼀致性约束的端到端语⾳翻译⽅法
3、实验分析：基准数据集上的实验性能以及相关分析
4、总结

回放链接：【【AI Drive】第98期 - 中国科学技术大学杜逸超：三角分解一致性约束的端到端语音翻译-哔哩哔哩】 https://b23.tv/Y6PK2cY

一、背景知识

1.1 任务简介

在日常生活中，语音翻译系统越来越普及，发挥作用越来越大。尤其在当今国际化交流越来越频繁的情况下，例如跨国商业谈判、国际会议、出国旅游、流媒体视频等领域都会有语音转文字翻译的需求。因此，如何提供更优质的语音翻译系统是当今热点问题。

那么语音翻译具体指什么？其主要目的是将源语言的语音信号转换到目标语言的文本。