语音合成论文优选：Towards a practical lip-to-speech conversion system using deep neural networks and mobile a

​声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

Towards a practical lip-to-speech conversion system using deep neural networks and mobile application frontend

本文章是匈牙利布达佩斯布达佩斯技术经济大学电信与媒体信息学系在2021.04.29更新的文章，文章偏向于产品，具体的链接

https://arxiv.org/pdf/2104.14467.pdf

---

文章主要偏向产品工程，但感觉lip-to-speech话题还是挺有趣，所以闲聊一二。就像使用脑电图EEG来合成语音一样，lip-to-speech也挺科幻。lip-to-speech相较EEG来说更简单许多，因为EEG的信息包含视觉，直觉，听觉等等信息，所以对EEG的信息分解感觉直观重要。lip-to-speech主要包括两种方式：直接和间接。直接的方式是直接把Articulatory映射到相应的声学特征，而间接是先把Articulatory信息映射到文本text,然后利用tts进行合成语音。当然lip-to-speech应用也挺好玩，比如我们可以利用望远镜，手机，监控器等等设备观察远方的人，只要我们可以观察到对方嘴型就可以知道对方谈话内容，还挺刺激。系统服务架构如图1所示。

（虽然本文内容不是我们工作研究对象，但感觉挺有趣。假期后读论文正式开始了）