计算机辅助发音,计算机辅助语言学习系统中的发音质量评价方法

1、本发明提出的一种计算机辅助语言学习系统中语音发音质量评价方法，包括：匹配分数计算、基于美尔(Mel)频标的听感知分数计算、基音分数计算、分数映射、分数融合各部分，具体计算包括以下步骤： 步骤(1)首先分别对参考语音和测试语音分别进行分帧处理，得到短时平稳的分帧语音； 步骤(2)按照以下步骤分别计算步骤(1)中所述的分帧的参考语音和测试语音的匹配似然分数； 步骤(2.1)分别对所述分帧的参考语音和测试语音每帧提取美尔频标倒谱系数(MFCC)特征，共39维特征，其中包括：12维MFCC系数及其一阶差分和二阶差分，归一化能量及其一阶差分和二阶差分； 步骤(2.2)利用预先训练好的隐含马尔可夫模型(HMM)，采用维特比(Viterbi)解码算法分别对步骤(2.1)输入的参考语音和测试语音进行强制对准，分别得到参考语音和测试语音的似然度，以及语音中每个音素的时间分隔信息； 步骤(2.3)按照以下公式计算第i个音素的匹配分数L(i)： L(i)＝|log(ptext(Otest|qi))-log(pref(Oref|qi))| 其中，ptest(Otest|qi)是测试语音的似然度，pref(Oref|qi)是参考语音的似然度。其中，中，qi表示第i个音素HMM模型，Otest和Oref分别是测试语音和参考语音的MFCC特征矢量。 步骤(2.4)按照以下公式计算音素平均匹配分数，并依次作为语音发音的匹配分数Smat_sen：

2、 如权利要求1所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 利用传统HMM方法进行时间对准和匹配分数计算；利用Viterbi解码算法分别对参考语音和 测试语音进行强制对准，分别得到的参考语音和测试语音的时间分隔信息，包括状态的时间 分隔、音素的时间分隔信息、单词的时间分隔信息。

3、 如权利要求l所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 提出了基于Mel频标的听感知域分数计算方法，该方法不同于传统的基于临界带感知分数计 算方法，新方法在计算上复杂度低，性能上都优于基于临界带的听感知分数计算方法。

4、 如权利要求l所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 提出利用教师参考语音作为发音质量评价参考模板，该方法不同于传统基于大规模训练语音 库的HMM模型分数匹配方法，新方法充分利用教师的参考语音信息，有利于发音中高层信 息评价。

5、 如权利要求l所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 在基于匹配分数计算过程中得到的每个音素的时间分隔对准信息基础上，进一步利用动态时 间规整(Dynamic Time Warping， DTW)方法将参考语音和测试语音的在音素层面上逐帧对准，使对准的语音在帧上有较好可比性。

6、 如权利要求l所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 所述段长模型是段长的直方图模型或Gamma模型，段长分数是根据测试语音的段长概率与 标准语音的段长概率绝对值之差得到。

7、 如权利要求l所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 所述基音分数是基于参考语音和测试语音中每个元音内极大值和极小值之差计算得到。

8、 如权利要求1所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 利用语音发音中的多种机器评价分数，并采用基于Sigmoid函数、多项式函数或线性函数中 的一个对所述匹配分数、所述感知分数、所述基音分数和所述段长分数进行映射，使映射后 分数和专家评分处于相同取值区间内。

9、 如权利要求l所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在于 对映射后的所述感知分数、所述基音分数和所述段长分数进行融合；采用线性融合、支持矢 量机(SVM)、 Logistic回归(Logistic Regression),神经网络、高斯混合模型中的一个对映 射后所述匹配分数、所述感知分数、所述基音分数和所述段长分数进行分数融合。

10、 如权利要求1所述的计算机辅助语言学习系统中语音发音质量评价方法，其特征在 于本发明对于本领域技术人员来说，可以对本发明要求1描述的计算步骤进行一些小的修改 和变型，在不背离本发明的精神和范围的情况下，本发明亦涵盖这些修改和变型。