Talk | 中科院计算所在读博士房庆凯、字节AI Lab算法工程师叶蓉：更好的语音表示，更强的语音翻译

本期为TechBeat人工智能社区第419期线上Talk，也是ACL 2022系列Talk第③弹！

北京时间7月5日(周二)20:00，中国科学院计算技术研究所在读博士生——房庆凯、字节跳动AI Lab算法工程师——叶蓉的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “更好的语音表示，更强的语音翻译”，届时将介绍两种方法——STEMM和ConST。这两种方法都获得了不错的语音翻译效果，并分别发布在ACL22和NAACL22主会上。

Talk·信息

▼

主题：更好的语音表示，更强的语音翻译

嘉宾：中科院计算所在读博士 房庆凯

字节跳动AI Lab算法工程师 叶蓉

时间：北京时间 7月5日 (周二) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

点击下方链接，即可观看视频

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=687

Talk·介绍

▼

为了更快速、更方便的部署，端到端语音翻译获得了很大的关注，它有助于缓解传统级联语音翻译系统的不足，但是缺少有标注的训练数据是端到端语音翻译的一大挑战。一个商用的中到英文本机器翻译系统则需要上亿条平行句对训练得到，而目前可用于语音翻译模型训练的音频-翻译标注数据只有十万数据级。我们的想法是希望利用成熟的文本翻译模型帮助端到端语音翻译建模，而显然，语音和文本两个模态之间的表示存在差距，这便使得文本翻译无法高效帮助语音翻译，所以如何学习更好的、和文本表示更接近的语音表示？本次talk将会以此为出发点，介绍两种方法——STEMM和ConST。这两种方法都获得了不错的语音翻译效果，并分别发布在ACL22和NAACL22主会上。

具体分享提纲如下：

1. 端到端语音翻译和语音表示的背景介绍

2. STEMM：利用Mixup方法缩小词级别语音-文本表示鸿沟

3. ConST：利用对比学习方法缩小句级别语音-文本表示鸿沟

4. 总结和展望

Talk·预习资料

▼

[1] [INTERSPEECH21]XSTnet：https://arxiv.org/pdf/2104.10380；

code：https://github.com/ReneeYe/XSTNet

[2] [ACL22]STEMM: https://arxiv.org/abs/2203.10426；

code：https://github.com/ictnlp/STEMM

[3] [NAACL22]ConST: https://arxiv.org/abs/2205.02444；

code：https://github.com/ReneeYe/ConST

Talk·提问交流

▼

通过以下两种方式提问都将获得微信现金红包奖励哦！

方式 ①

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

方式 ②

在本文留言区直接提出你的问题！

Talk·嘉宾介绍

▼

房庆凯

中国科学院计算技术研究所在读博士生

房庆凯，中国科学院计算技术研究所一年级博士生，导师为冯洋研究员。主要研究方向为自然语言处理、机器翻译，曾在ACL上发表多篇论文。

个人主页：

https://fangqingkai.github.io

叶蓉

字节跳动AI Lab算法工程师

字节跳动AI Lab算法工程师，硕士毕业于复旦大学。她主要研究方向为语音翻译和文本生成，并以第一作者/主要作者在ICLR/AAAI/ACL等发表论文。

个人主页：

https://github.com/ReneeYe

-The End-

关于TechBeat人工智能社区

▼

TechBeat(TechBeat)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区