2Speech Emotion Recognition Using Deep Neural Network and Extreme Learning Machine

---

前言

原文地址-2014年

一、文章内容

• 不同与当时普遍使用统计方法研究感情识别，本文章主要是提出了一种使用DNN网络进行特征提取的办法，采用的模型结构如下：
  
  

  • 首先对所有的segment（这里和中文理解的段句很不一样，可以把这个segment看作一句话的一小部分，一个小片段）进行帧级别的特征提取（这里的特征提取就是对一帧的内容计算MFCC，stft,等语音特征）,然后把每一帧的这些特征进行了拼接输入到了DNN中做分类，得到每一个segment的一个概率。
  • 然后他把这个一段话（Utterance）每个segment的预测概率拼接，进行一些统计计算(取极值，均值等方式)形成一个段级别的感情特征，再输入到单层神经网络做分类。
  • 实验结果如下：
    -

二、文章总结

• 这个是初期探索将DNN用于语音感情识别的尝试，效果虽然不好，具有参考和引用价值
• 文章创新点：DNN模型进行特征提取和分类
• 优点：
  • 注重帧级别的感情特征提取，也考虑了上下文信息，把上下文的特征也融合了帧特征上，在已有知识计算的帧级别的特征基础上再进行了依次特征提取获得更加抽象的局部特征，然后使用局部特征计算出一个全局特征用来进行分类。
  • 总的来说他考虑特征的上下文信息，有特征从局部特征逐渐抽象到全局特征的想法。
  • 不仅用DNN网络来进行分类，也开始使用DNN网络做特征提取了。
  • 后续很多模型也是在这种思想的基础上进行改进发展的，比如CNN,RNN网络应用在感情识别上，使用RNN来考虑上下文的特征关系，使用CNN来考虑全局特征的提取。
• 缺点：
  • 效果不好，50%左右，
  • 按帧把特征拼接在一起特征向量太长了应该
  • 不是端到端的训练网络，
  • 片段特征提取的时候会忽略一些能量少的片段，这是人工指定的，没用让模型来学习该忽略哪些，对后期模型准确率有影响
  • 上下文特征影响的考虑范围有限，只是考虑了局部上下文的特征关系
  • 用DNN进行帧级别的特征提取，最后用了一个值代表了这个帧的特征，明显的特征维度不够，使模型表达效果不理想
  • 对于段级别的特征选择只是用了简单的数学统计方法，没有用到神经网络来进行选择提取。