技术分享 | 语音AI如何驱动虚拟人

关于虚拟数字人的起源最早可以追溯到上个世纪八十年代的日本经典动画片《超时空要塞》的女主角林明美。作为虚拟偶像的开端，动画公司以她的虚拟形象发行唱片，虚拟人第一次进入了现实世界。

2000年-2016年，虚拟数字人还只是停留在研究阶段。2016年以来，深度学习和元宇宙的出现，使得虚拟偶像一夜火遍全世界。

虚拟数字人根据驱动方式的不同可分为AI智能驱动型和真人驱动型（动作捕捉技术）。在真人驱动型虚拟数字人中，真人也被称为“中之人”，配合动作捕捉设备，让虚拟数字人能够与观众进行实时交互。而AI智能驱动型虚拟人，则是通过智能系统自动读取并解析识别外界输入信息，根据解析结果决策输出文本，驱动人物模型生成相应的语音与动作与用户交互。由于虚拟数字人的口型和微表情等微动作较多，真人拍摄耗资巨大，AI语音口型驱动成为主流。

AI语音驱动虚拟数字人微表情

AI语音驱动又称为虚拟形象语音动画合成技术（Voice-to-Animation），用户通过输入文本或语音，以一定规则或深度学习算法，生成对应的3D虚拟形象的人脸表情系数，完成口型和面部表情的精准驱动。开发者可以快速构建丰富的虚拟形象智能驱动应用，如虚拟主持人、虚拟客服、虚拟教师等。根据输入内容的不同（文本/语音），可以分为三种驱动方法：

语音驱动  

语音作为驱动源头。将语音输入到深度模型，预测嘴型和面部微表情系数。该方法不受限于不同人、国家，但是受到语音特