【KAWAKO】DTLN-1Dconv的原理

KKK_KAWAKO

已于 2022-03-02 09:02:24 修改

阅读量1.6k

点赞数 1

分类专栏：语音文章标签： python 语音识别 lstm cnn

于 2021-08-23 18:02:38 首次发布

本文链接：https://blog.csdn.net/qq_40944311/article/details/119874409

版权

6 篇文章 1 订阅

订阅专栏

DTLN是一种能够实时处理的语音降噪算法，其开源代码在这里，论文在这里。

DTLN的结构如上图，其结构分为两个部分。第一部分（上图左边）是在stft得到的频谱上进行降噪处理，属于频域处理。第二部分（上图右边）是在1D卷积得到的特征上进行进一步降噪处理，也属于频域处理。

其网络结构部分的源码如下。两个1D卷积已用红框标出。

可以注意到，两个1D卷积的参数如下：

第一个1D卷积，输入维度为1*1*512（32ms），卷积核的大小为1*1、个数为encoder_size=256，步长为1，无bias。

第二个1D卷积，输入维度为1*1*256，卷积核的大小为1*1、个数为blocklen=512，步长为1，无bias。

怎么理解DTLN的第二部分呢

第一部分进行降噪处理后，将处理过后的频谱进行傅里叶反变换，得到了长度为512（32ms）的时域信息。
第二部分的第一个1D卷积对长度为512（32ms）的时域信息进行卷积，又得到了256维的频域信息。该操作与stft类似，都是512/2（但是没+1），不同的是stft的到的频点是平均分布的，而1D卷积得到的频点分布是网络学习出来的（可能有的地方频点分布疏，有的地方频点分布密）。网络学习得到的频点分布~~（应该）~~更能适应不同的任务。
对1D卷积得到的频域信息进行归一化以后过一遍LTSM+FC+Sigmoid，得到相对于1D卷积学习到的频点分布的mask（频带增益）。
将学习得到的mask与之前1D卷积得到的频域信息相乘，得到降噪处理之后的频域信息。
对降噪处理之后的频域信息进行第二次1D卷积，将256维的频域信息转换回长度为512（32ms）的时域信息，相当于ifft。
对转换回来的长度为512（32ms）的时域信息与前一帧的信息进行overlap-add，最后得到降噪后的声音。

encoded_frames = Conv1D(self.encoder_size,1,strides=1,use_bias=False)(estimated_frames_1)

拿第一个1D卷积举例。卷积核的数量是encoder_size=256，卷积核大小是1*1，步长是1。其输入是1*1*512的时域信息，输出是1*1*256的频域信息。

与二维卷积的计算方法相同，其参数量为

(kernel_width * kernel_height * input_channels + bias_num) * output_channels

将时域信息的512个采样点理解为通道数，则卷积的参数量为(1*1*512+0)*256。矩阵乘法如下图。

其中Xn为时域信息的第n个采样点，Wn,c为第c个卷积核（也就是频点）在第n个采样点上的权重。矩阵相乘时，X行向量与W矩阵的第c列进行相乘相加，得到的就是在第c个频点上的能量值。因此W矩阵的c个列就代表c个采样点，刚好与512个采样点的一半所对应。

相较于STFT的平均分布频点，1D卷积可以通过网络学习到更合适的频点分布。

1D卷积的计算量比STFT高。

1D卷积的计算量为：

kernel_width * kernel_height * input_channels * output_width * output_height * output_channels

在本案例中即为：1*1*512*1*1*256 = 131072

参考这篇博客，在窗宽度为512上进行fft的计算量为：(np.log2(512)*512/2+np.log2(512)*512)*9 = 62208

可以看到stft的计算量比1D卷积小。

关注