论文名称:ViDA-MAN: Visual Dialog with Digital Humans
论文链接:https://www.aminer.cn/pub/6173f1c391e0118698c04bbe?f=cs
本篇论文中,我们展示了 ViDA-MAN,这是一个用于多模式交互的数字人代理,它能够对即时的语音查询提供实时的视听回应。与传统的文本或语音系统相比,ViDA-MAN能够提供类似于人的交互方式(例如,生动的声音、自然的面部表情和身体手势)。若给出一个语音请求,该演示能够在亚秒级的延迟中以高质量的视频作出回应。为了提供沉浸式用户体验,ViDA-MAN无缝整合了多模式技术,包括声学语音识别(ASR)、多轮对话、文本到语音(TTS)、谈话头像视频生成等。在大型知识库的加持下,ViDA-MAN能够与用户进行不同主题的聊天,包括闲聊、天气、设备控制、新闻推荐、预订酒店,以及通过结构化知识回答各种问题等。
AMiner,让AI帮你理解科学!https://www.aminer.cn