深入浅出：频谱掩码 Spectral Masking —— 噪音消除利器

FF-Studio

已于 2025-02-04 02:31:18 修改

阅读量921

点赞数 20

文章标签：语音识别人工智能实时音视频降噪自然语言处理

于 2025-02-04 02:30:12 首次发布

本文链接：https://blog.csdn.net/qq_38961840/article/details/145435479

版权

在语音处理领域，噪声是一个常见的敌人。无论是语音通话、语音识别，还是语音合成，噪声都会大大降低语音的质量和可理解性。为了解决这个问题，Spectral Masking（频谱掩码） 模型应运而生。它通过从带噪信号的频谱中估计一个掩码，从而分离出干净的语音。本博客将带你从零开始，深入浅出地理解这一技术。

1. Spectral Masking 模型概览

首先，让我们从整体上了解一下 Spectral Masking 模型的核心思想。它的目标很简单：从带噪信号中提取干净语音。怎么做到呢？模型通过以下三个步骤实现这一点：

输入处理：将带噪语音信号转换为频谱。
掩码估计：通过神经网络估计一个掩码（Mask）。
输出处理：应用掩码并还原出干净语音。

听起来有点抽象？别急，接下来我们会一步步拆解，确保你完全理解。

2. 模型结构详解

在这里插入图片描述

2.1 输入处理

输入是什么？

模型的输入是带噪语音信号。这个信号通常以时域的形式存在，也就是说，它是一段时间内的声波振幅数据。

处理步骤

分帧：语音信号是连续的，为了方便处理，我们把它切成小段，每一段称为一帧。通常每帧的长度是 20ms 到 40ms。
短时傅里叶变换（STFT）：将每一帧的时域信号转换为频域信号，也就是频谱。频谱可以看作是信号在不同频率下的强度分布。
提取幅度谱和相位谱：频谱可以进一步拆分为幅度谱和相位谱。幅度谱表示每个频率的强度，相位谱表示每个频率的相位信息。

带噪语音 (时域) → 分帧 → STFT → 频谱 (频域) → 幅度谱 + 相位谱

为什么需要频谱？

因为噪声和语音在频域上的分布是不同的。通过分析频谱，我们可以更有效地分离噪声和语音。

2.2 掩码估计

这是模型的核心部分。掩码估计的任务是通过神经网络，从带噪语音的幅度谱中估计出一个掩码。这个掩码的作用是告诉模型哪些部分是语音，哪些部分是噪声。

模型输入

输入：带噪语音的幅度谱。
目标：估计掩码。掩码的类型有很多，常见的有以下几种：

掩码类型	描述
二进制掩码	0 或 1，简单粗暴，效果较差。
软掩码	0 到 1 之间，精细处理噪声和语音的混合区域。
复数掩码 (cIRM)	同时处理幅度和相位信息，效果最好。

模型结构

掩码估计通常使用神经网络来完成。常见的模型结构包括 CNN（卷积神经网络）、RNN（循环神经网络）和 UNet 等。以下是典型的流程：

编码器（Encoder）：提取频谱的高层次特征。
- 使用多层卷积或全连接层。
- 逐步降低频谱分辨率，提取全局特征。
解码器（Decoder）：根据特征生成掩码。
- 使用反卷积或上采样层。
- 逐步恢复频谱分辨率，生成掩码。
跳跃连接（Skip Connections）：将编码器的低层特征直接传递给解码器，帮助保留细节。

为什么用神经网络？

因为神经网络可以从数据中自动学习复杂的模式，非常适合处理频谱这种高维数据。

2.3 输出处理

有了掩码之后，接下来就是还原干净语音了。

处理步骤

应用掩码：将估计的掩码应用于带噪频谱，得到干净频谱。
- 公式：干净频谱 = 带噪频谱 × 掩码
还原时域信号：结合原始相位谱，使用逆短时傅里叶变换（ISTFT）将频域信号还原为时域信号。

干净频谱 = 带噪频谱 × 掩码  
干净语音 (时域) = ISTFT(干净频谱, 原始相位谱)

为什么需要相位谱？

因为相位信息对语音的可理解性非常重要。如果只使用幅度谱，还原的语音可能会失真。

3. 典型模型示例：UNet 结构

在 Spectral Masking 中，UNet 是一个非常常用的模型结构。它最初是为图像分割设计的，但由于其强大的特征提取能力，很快被引入到语音处理领域。

UNet 结构

层级	描述
输入层	带噪语音的幅度谱 (e.g., 257×200)
编码器	多层卷积 + 下采样 (e.g., 卷积核 3×3)
跳跃连接	将编码器的低层特征直接传递给解码器
解码器	多层反卷积 + 上采样 (e.g., 卷积核 3×3)
输出层	估计的掩码 (e.g., 257×200)