DPT-FSNET: DUAL-PATH TRANSFORMER BASED FULL-BAND AND SUB-BAND FUSION NETWORK FOR SPEECH ENHANCEMENT

ICASSP 2022

1. Abstract

子带模型对谱图的局部模式建模方面取得了较好的结果。已有部分工作将子带信息和全带信息进行融合，以提升模型的性能。本文提出了一种基于transformer的双分支全带、子带融合网络（DPT-FSNet），用于频域的语音增强。模型的intra和inter部分分别对子带信息和全带信息进行建模。本文提出的方法所使用的特征比时域的双分支网络所使用的的特征更易解释。本文在Voice Bank+ DEMAND和Interspeech2020 Deep Noise Suppression数据集上进行了实验对比，实现了SOTA性能。

2. Intorduction

子带处理将子带频谱特征作为网络的输入和输出，已有方法[9,10,11]，子带模型独立处理每个频率，使模型能够关注频谱中的局部模式，从而提升语音增强的性能。

[9] Haohe Liu, Lei Xie, Jian Wu, and Geng Yang, “Channel-Wise Subband Input for Better Voice and Accompaniment Separation on High Resolution Music,” in Proc. Interspeech 2020, 2020, pp. 1241–1245.
[10] Geng Yang, Shan Yang, Kai Liu, Peng Fang, Wei Chen, and Lei Xie, “Multi-band melgan: Faster waveform generation for high-quality text-to-speech,” in 2021 IEEE Spoken Language TechnologyWorkshop (SLT). IEEE, 2021, pp. 492–498.
[11] Shubo Lv, Yanxin Hu, Shimin Zhang, and Lei Xie, “DCCRN+: Channel-Wise Subband DCCRN with SNR Estimation for Speech Enhancement,” in Proc. Interspeech 2021, 2021, pp. 2816–2820.

当前，已有部分工作使用双路径网络取得了较好的性能提升，这类方法能够对输入序列的局部和全局特征进行建模。这些方法都是在时域信号上直接处理，没有进一步探究双路径网络的输入对增强性能的影响。

本文提出了DPT-FSNet网络，包含一个encoder，decoder和一个双路径transformer。模型使用convolutional encoder-docoder(CED)结构为双路径transformer提取有效的latent 特征空间。编码器和解码由1x1卷积层和dense block组成，dense block中包含膨胀卷积，用于学习上下文信息。双路径transformer由两部分组成，分别为intra-transformer和inter-transformer。前者对子带信息进行建模，后者对全带信息进行建模

2. Improved Transformer

本文选用transformer模型的encoder部分作为本文transformer部分的基础模块，原始的transformer encoder通常包含三个模块：位置编码，多头自注意力和position-wise前馈网络。本文的transformer模型包含两个部分：多头自注意力和改进的position-wise前馈网络。

2.1 Multi-head self-attention

本文使用文献【17】提出的多头自注意力机制。

Attention is all you need

2.2 Modified position-wise feed forward network

transformer 的一个关键问题是如何利用语音序列中的顺序信息。
已有工作发现，原始transformer中的位置编码不适用于dual-path网络。受到RNN网络在学习顺序信息方法的启发，本文使用一个GRU层代替前馈网络中的第一个全连接层来学习位置信息。

FFN(.)表示position-wise前馈网络的输出，$W_1\in {\mathbb{R}}^{d_{ff}\times d},b_1\in {\mathbb{R}}^d,d_{ff}=$