论文一:基于注意机制的神经网络单通道语音增强方法
核心工作:提出基于注意机制的单通道语音增强方法,关注音频流的重要语音成分并适当降低对噪声、干扰的注意力。
注意力机制(attention-based):
1. 注意力机制需要决定整段输入的哪个部分需要更加关注;
2. 从关键的部分进行特征提取,得到重要的信息。
3. RNN模型在预测增强帧时隐式地学习过去输入特征的权重,而注意机制计算过去帧与要增强的当前帧之间的相关性,并且明确地给过去的帧赋予权重;
算法分类:
1. 统计算法:谱减法、维纳滤波、最小均方差对数谱法等
2. 数据驱动算法:非负矩阵分解、神经网络
神经网络结构:分为编码器(堆叠和扩展)、注意机制、生成器。
实验结果:
1. 基于注意力机制的LSTM始终优于最佳修正对数谱(OM-LSA)和LSTM,堆叠编码器略好于扩展编码器
2. 因果局部注意力模型具有比因果动态注意力模型更好的性能或甚至更好的性能,证明语音增强不需要考虑太长的历史信息
论文二:基于BLSTM的语音增强的师生学习
核心工作:本文提出了一种单通道语音增强的学生教师学习模式。将多通道增强后的波束信号作为输入输入到教师网络中,获得软掩码;再将含有软掩模目标的附加交叉熵损失项与初始损失项相结合,训练单通道输入的学生网络通过波束形成模拟多通道输入的软掩模。