【论文阅读】多粒度特征融合的维度语音情感识别方法

• 陈婧, 李海峰, 马琳, et al. 多粒度特征融合的维度语音情感识别方法[J]. 信号处理, 2017(3).

主要内容：针对传统维度语音情感识别系统采用全局统计特征造成韵律学细节信息丢失以及特征演化规律缺失的问题，提出了一种基于不同时间单元的多粒度特征提取方法，提取短时帧粒度、中时段粒度和长时窗粒度特征，并提出了一种可以融合多粒度特征的基于认知机理的循环神经网络CIRNN，使用不同时间单元的特征参与网络训练，实现多层级信息融合。本文在VAM维度语料库上进行实验，得到平均相关系数0.66，优于传统的ANN和SVR识别结果。

收获：了解了连续语音识别中多粒度特征提取方法，实验评价方法与指标。

 

文章的主要工作

1. 针对全局统计特征引起时序信息丢失的问题，研究了合适的情感表达时长，提出基于不同时间单元的多粒度情感特征提取方法。
2. 提出了可以融合多粒度特征的基于认知机理的循环神经网络（CMRNN）。
3. 在VAM语料库上评估模型的性能。

多粒度语音情感特征提取方法

文章认为短时帧特征太过于关注语义信息，而全局统计特征有可能导致情感韵律细节信息丢失，因此提出语段粒度特征和情感认知窗粒度特征两个粒度特征。

帧粒度特征提取

使用25ms汉明窗，帧移10ms对语音进行分帧处理，然后提取96维特征并进行归一化。本文的一个创新点是，使用Teager_Mel特征代替MFCC特征，并通过实验验证了该特征的有效性，可在后续的研究中作为参考。

其中，Teager_Mel特征的理论基础是：一个完整的语音是由线性和涡流区域的非线性模块构成，涡流部分会对语音信号产生影响。提取过程如图所示：

TEO变换为，它的优点是更加突出语音信号能量在不同频段上的偏差，从而使得情感能量在不同情绪下的偏移更为明显。

作者为验证Teager_Mel的有效性，与MFCC相对比，每种特征提取了共273维的统计特征，如图所示：