论文题目:Disordered speech recognition considering low resources and abnormal articulation
论文作者:林羽钦、党建武、王龙标、李胜、丁尘辰
单位:天津市认知计算与应用重点实验室、中国鹏程实验室、慧言科技及日本信息通信研究机构(NICT)合作发表。
02
论文介绍:深度学习通过提供有前景的解决方案彻底变革了语音活动检测(VAD)。然而,由于噪声干扰,将传统特征(如原始波形和MFCC)直接应用于深度神经网络往往会导致VAD性能下降。相比之下,人类在复杂和嘈杂的环境中具有辨别语音的非凡能力,这激励我们从人类听觉系统获得灵感进行语音或非语音的判断。我们提出了一种鲁棒的VAD算法,称为听觉启发式掩模调制编码器卷积注意力网络(AMME-CANet)。首先,我们研究听觉启发式调制特征的设计作为深度学习编码器(AME),有效地模拟声音信号传输到内耳毛细胞和随后由神经细胞进行调制滤波的过程。其次,基于人类听觉系统中观察到的掩蔽效应,我们通过引入掩蔽机制来增强我们的听觉启发式调制编码器,从而产生AMME。AMME放大更清晰的语音频率,同时抑制噪声成分。第三,受人类听觉机制的启发,并利用上下文信息,我们利用注意力机制进行VAD。这种方法使用注意力机制为包含更丰富和更有信息线索的上下文信息分配更高的权重。通过广泛的实验和评估,我们证明了AMME-CANet在噪声条件下的VAD方面的卓越性能。