语音合成论文优选：唇语Speaker disentanglement in video-to-speech conversion

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

Speaker disentanglement in video-to-speech conversion

本文为University POLITEHNICA of Bucharest Bucharest, Romania在2021.05.20更新的文章，主要研究领域为video-to-speech,具体的链接https://arxiv.org/pdf/2105.09652.pdf

---

（其实就是唇语识别+语音合成。搜了一下唇语识别app,都已经下架了，目前合法落地还是在健康医疗，帮助失语人员）

1 研究背景

这篇文章video-to-speech也是lip-to-speech,本文的贡献是添加speaker embedding对合成发音人的控制，也可以合成unseen的发音人。另外本文也对vedio的信息进行解耦，把speaker信息给过滤掉。

2 详细设计

图1为本文的详细设计，因为video的帧和语音的帧设计成1对1，因此仅仅使用tacotron2的decoder，不需要attention。video主要使用ResNet网络进行处理。另外，本文添加了speaker embedding对多说话人进行控制。另外本文提到原始的video是包含了speaker 信息，因此使用speaker classifier进行speaker信息的过滤，比如使用梯度翻转等等。

3 实验

本文对比了现有的方案和本文方案几种变种，本文在PESQ和WER指标最好。图2左图展示原始video带有speaker信息，右图是把speaker embedding进行平均合成的语音，说明speaker embedding有效。table2和table3对本文方案进行对比。

4 总结

本文的video-to-speech支持多说话人合成以及unseen speaker的合成。