DTLN网络模型学习

论文题目：Dual-Signal Transformation LSTM Network for Real-Time Noise Suppression

用于实时噪声抑制的双信号转换 LSTM 网络

论文地址：https://arxiv.org/abs/2005.07551

本文提出的模型级联两个分离核，第一个具有 STFT 信号变换，使用第一个内核创建稳健的幅度估计，并使第二个内核能够进一步增强具有相位信息的信号。

图1：模型架构

本文介绍的堆叠双信号变换 LSTM 网络架构有两个分离核心，包含两个 LSTM 层，后跟一个全连接 (FC) 层和一个 sigmoid 激活以创建掩码输出。第一个分离核心使用STFT分析和综合基地。由 FC 层和 sigmoid 激活预测的掩码乘以混合的幅度，并使用输入混合的相位转换回时域，但不重建波形。来自第一个网络的帧由 1D-Conv 层处理以创建特征表示。特征表示在被馈送到第二个分离核心之前由归一化层处理。第二个核心的预测掩码与特征表示的非标准化版本相乘。结果用作 1D-Conv 层的输入，用于将估计表示转换回时域。在最后一步中，通过重叠和相加过程重建信号。该架构如图 1 所示。

为了考虑模型的实时特性，使用了即时层规范化 (iLN)。即时层归一化类似于标准层归一化，并在[22]中作为逐通道层归一化引入。所有帧都单独归一化，没有随时间累积统计数据，并使用相同的可学习参数进行缩放。在目前的工作中，这种归一化方案被称为即时层归一化，以区别于累积层归一化 。