语音驱动的口型同步算法文献汇总

论文一：语音驱动的口型同步算法
核心工作：提出一种口型动画同步算法，预先定义基本口型动作集合，通过权重线性混合构成口型动画和过渡动画，最终拼接得到完整口型动画。
音素：输入的语音信号首先被转化为由一串发音单元构成的序列，这些发音单元成为音素。
视素：序列中的音素会被映射到一个口型动作单元上，这些口型动作单元成为视素。
协同发音：
1. 难题：除了当前正在发音的音素外，该音素之前或之后的一些音素也会对当前口型动作产生影响的现象。
2. 解法：程序式，对音素优先级制定规则；物理模型，模拟脸部与嘴唇肌肉的作用；数据驱动，采集大量数据并进行匹配；机器学习，基于GMM-HMM等模型方法学习。
算法描述：
1. 预处理：
（1） 音素分类：基于Timit音素表合并到16个基本音素集合；
（2）定义音素对应的口型动画：通过FaceGen建模六种基本口型；
（3）权重推导，曲线分为稳定阶段与变化阶段，稳定阶段在前，变化阶段T一般为30-50ms。
2. 运行阶段：
（1）分析语音信号获得音素序列：常用Festival、Julius系统
（2）音素序列的映射：讨论映射的动画片段 >和< 变化阶段T的情况
（3）过渡动画拼接：线性插值算法

论文二：基于加权算法的汉语语音同步三维口型动画研究