《CASCADED TIME + TIME-FREQUENCY UNET FOR SPEECH ENHANCEMENT:JOINTLY ADDRESSING CLIPPING》论文阅读

论文的全称是《CASCADED TIME + TIME-FREQUENCY UNET FOR SPEECH ENHANCEMENT: JOINTLY ADDRESSING CLIPPING, CODEC DISTORTIONS, AND GAPS》

研究动机

       语音增强是用于处理噪声的，这篇文章是为了处理三种不常见的噪声而提出的。

INTRODUCTION

      本文处理的三种噪声分别是speech clipping, codec distortions, gaps。首先，第一种噪声一种非线性噪声，它是当语音信号超过了麦克风录制的动态范围就会出现，而这个动态范围指的是麦克风输出最小信号和最大信号之间的差值，如果足够大的动态范围就能够最大程度的保留原始音质不发生失真。第二种噪声的出现是编码失真，当语音在传输的过程中出现的一种有损的传输。 第三种噪声出现是因为网络的环境太差，这里的网络指的是IP网络。第三种噪声需要填充的方法进行填充。

      本文主要的方式是联合起来处理三种噪声。

       网络结构如下，采用了一个时域的UNET,一个频域的UNET实现联合处理。其中采用的卷积卷积核用的是5，步长是2。

 

       下面这张图展示了如何进行的联合处理，首先，第一个网络处理掉的是speech clipping和gap噪声，第一个网络输出的是带codec类型噪声的带噪音频送入到第二个网络里面处理，输出目标是纯净语音。

数据准备

       DNS数据集用于了训练和测试，所有的数据都是16khz。

实验

      分别单独去除掉三种噪声和联合去除掉三种噪声：

 

总结

      去除掉噪声效果挺好的，指标很高。