音频降噪模型汇总

最新推荐文章于 2024-06-07 09:44:49 发布
最新推荐文章于 2024-06-07 09:44:49 发布
阅读量7.5k 收藏 96
点赞数 13
分类专栏： 音频降噪 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsy1234567890/article/details/121230305
版权

音频降噪模型汇总

前言

从事语音降噪增强算法开发多年了，上学期间和入行的前段都是做传统信号处理算法。19年以后基于深度学习的语音降噪模型凭借其优秀的处理效果，一时风头无两，似乎每个人都开始走上了模型降噪的路子。

特别是从2020年微软开始举办的Deep Noise Suppression Challenge – INTERSPEECH 2020(DNS)开始，各个高校、科研院所和相关企业都参与进来施展武艺。后续又举办了Deep Noise Suppression Challenge – ICASSP 2021和Deep Noise Suppression Challenge – INTERSPEECH 2021。

比赛中多数只关注实时/非实时性，赛道约束的比较少，对模型的参数量和计算量要求比较开放，所以基本上参赛的模型都把自己武装得很“强壮”，把已知的有用的技巧融合到自己的模型中，更有一些模型基本是模块的排列组合。所以本人非常希望主办方能够开辟一条小模型赛道，可以迅速应用于现实，提升通话品质。

实际工作中，想要模型落地，考虑的可不止这些，目前端侧对算法开销要求比较苛刻，PC还好一些，像手机、平板这些设备的算法落地需要更加严格的模型选型和剪枝、量化。

模型选型，需要从模型的效果、参数量、计算量、占用内存大小、时延等方面着手开始考虑拆解问题，当然了，如果小模型就可以满足降噪的效果需求，那恭喜你，可以跳过下面的步骤，去训练模型、马上就可以工程化落地了。如果小模型不能work,那就需要根据落地设备的存储空间和开销限制，寻找若干个效果远超降噪效果需求的大模型，然后通过压缩手段（剪枝、量化等）将模型的参数量和计算量降下来，过程中可能出现效果下降的现象，这就是一个经验性尝试的打磨过程了。

本文将近些年的经典网络和最近提出的新网络的关键参数、简介、开源代码都整理在这里，目前只是比较简单的梳理汇总，后续会针对每一个模型详细分析或者转载其他博主的优秀文章。希望对语音降噪算法的学习和应用过程有所帮助，如果不准确的地方，请大家批评指正。

干货分享：手码不易欢迎收藏点赞加关注

>>>知乎原文链接更完整详细，持续更新<<<

一、模型全景

在这里插入图片描述

二、模型简介

RNNoise

Jean-Marc Valin
Mozilla Corporation Mountain View, CA, USA

主要思想是将传统信号处理与深度学习相结合来创造一个模型又小速度又快的实时噪声抑制算法。
为了避免大量的输出（避免使用大量神经元），决定不直接使用语音样本或者能量谱。作为代替，考虑一种符合人类听觉感知的频率尺度——巴克频带尺度。总共用了22个频带而不是480（复杂）个频谱值。

1、模型框图
在这里插入图片描述2、效果
在这里插入图片描述

3、代码
https://github.com/xiph/rnnoise
4、笔记转载
RNNoise超详细解读

Wav-U-net

Daniel Stoller Sebastian Ewert Simon Dixon
Queen Mary University of London Spotify

1、模型框图
在这里插入图片描述

2、效果
在这里插入图片描述

3、代码
https://github.com/f90/Wave-U-Net

Conv-TasNet

Yi Luo, Nima Mesgarani

论文提出了一种全卷积时域音频分离网络—Conv-TasNet，这是 Yi Luo 在继 2017 年提出 TasNet 之后，又一端到端的时域语音分离模型。Conv-TasNet通过使用线性编码器​​生成了一种对语音波形的表示形式，并针对单个说话人的分离进行了优化。然后将一组加权函数（masks）应用于编码器的输出来实现说话人分离。最后使用线性解码器得到分离出的语音波形。使用由一维空洞卷积块组成的时域卷积网络（TCN）计算掩码，这使得网络可以对语音信号的长期依赖性进行建模，同时保持较小的模型尺寸。

1、 模型框图
```
2、 效果在这里插入图片描述3、代码
https://github.com/kaituoxu/Conv-TasNet
4、笔记转载
【论文笔记之Conv-TasNet】: Surpassing Ideal Time–Frequency Magnitude Masking for Speech Separation

DC-U-Net

Hyeong-Seok Choi
Department of Transdisciplinary Studies, Seoul National University, Seoul, Korea

DC-Unet结合了深度复数网络和Unet的优点来处理复数值谱图，利用复数信息在极坐标系下估计语音的幅值和相位。同时提出了weighted-SDR loss。该方法是通过许多卷积来提取上下文信息，从而导致较大的模型和复杂度。
1、 模型框架
在这里插入图片描述

在这里插入图片描述
2、weighted-SDR loss
在这里插入图片描述
3、效果
在这里插入图片描述
4、代码
https://github.com/chanil1218/DCUnet.pytorch

DPRNN

Yi Luo†∗, Zhuo Chen‡, Takuya Yoshioka‡
†Department of Electrical Engineering, Columbia University, NY, USA
‡Microsoft, One Microsoft Way, Redmond, WA, USA

DPRNN将长序列输入分割为较小的块，并迭代地应用块内和块间RNN。
1、模型框架
在这里插入图片描述
2、效果
在这里插入图片描述
3、代码
https://github.com/ShiZiqiang/dual-path-RNNs-DPRNNs-based-speech-separation
4、笔记转载
论文研究12：DUAL-PATH RNN for audio separation
阅读笔记”Dual-path RNN for Speech Separation“

PHASEN

Dacheng Yin1, Chong Luo2, Zhiwei Xiong1, and Wenjun Zeng2
1University of Science and Technology of China
2Microsoft Research Asia

PHASEN 可以准确估计信号的幅值和相位信息。创新点如下：

  • 设计了一套双流网络结构（TSB, two-stream block，幅度流和相位流），并且双流之间有信息交互，交互发生在 TSB 模块结束的部分；
  • 设计了频域变换块（FTB，frequency transformation blocks）模块，用于获得频域上的长时间跨度的关系， FTB 分布在 TSB 模块的开始和结束位置， FTB 高效整合全局频域相关性，尤其是谐波相关性， 通过对于 FTB 参数的可视化，发现 FTB 自发地学到了谐波相关性。
    1、模型框架
    在这里插入图片描述

双流结构由强度流以及相位流构成。其中，强度流主要由卷积操作，频域变换模块（FTB）以及双向 LSTM 组成，而相位流为纯卷积网络。强度流的预测结果为幅值掩膜 M，其取值为正的实数，相位流的预测结果是相位谱φ，其取值为复数，由实部和虚部组成。记输入的时频表征为 S_in，则输出 S_out=abs(S_in )∙M∙φ 。其中，∙ 代表逐项相乘操作。为了充分利用双流的信息，采用 gating 的方式在强度流和相位流之间增加了信息交互机制，从而让强度或者相位处理过程中能利用另外一路的信息作为参考。增加了信息交互后，把网络的主体划分为3个 Two Stream Block（TSB）。每一个 TSB 的结构相同，在 TSB 的最后，均有一步信息交互操作。实验表明，双向的信息交互对相位预测至关重要。
在设计强度流的过程中，发现图像处理中常用的小尺寸二维卷积操作无法处理语音信号中的谐波相关性。不同于自然图像，语音信号在转化为时-频表征时的相关性不仅有邻域成分，而且有谐波成分，而这些谐波相关性是一种分布在频域上的全局相关性，例如：频率 f_0 倾向于和 2f_0,1/2 f_0,3f_0,3/2 f_0,1/3 f_0,2/3 f_0… 这些谐波相关的频率同时发生，这些频率分布在整个频率轴上。之前的工作中使用的 U-net，空洞卷积等卷积结构都适用于处理邻域相关性，但是无法高效地感受到这种全局频域相关性。为此，提出了频域变换模块（Frequency Transformation Block, FTB）来处理包括谐波在内的全局频域相关性。
在这里插入图片描述
FTB 的结构如上图所示，简单来说，它利用注意力（attention）机制来挖掘非邻域（non-local）相关性。在整体架构中，每一个TSB中强度流的输入和输出端各有一个 FTB，确保每一个 TSB 中处理的信息以及双流交互的信息都能关注到谐波相关性。
2、效果
在这里插入图片描述
3、代码
https://github.com/huyanxin/phasen
4、笔记转载
AAAI 2020丨从嘈杂视频中提取超清人声，语音增强模型PHASEN已加入微软视频服务

Demucs

Alexandre Défossez Nicolas Usunier Léon Bottou
Facebook AI Research

Demucs是一个waveform-to-waveform 模型，由U-Net 结构和双向 LSTM构成。
1、 模型框架
在这里插入图片描述

2、效果
在这里插入图片描述
在这里插入图片描述
3、代码
https://github.com/facebookresearch/demucs

SuDoRM-RF

Efthymios Tzinis, Zhepei Wang, Paris Smaragdis
University of Illinois at Urbana-Champaign
Adobe Research

全称:SUccessive DOwnsampling and Resampling of Multi-Resolution Features多分辨率特征的连续下采样和重采样。
该模型，a）可以部署在资源有限的设备上，b）训练速度快，并实现良好的分离性能，c）在增加参数数量时具有良好的扩展性。
适合用于移动设备，能够在有限的浮点运算次数、内存要求和参数数量下获得高质量的音频源分离和较小的时延。
1、 模型框架
在这里插入图片描述在这里插入图片描述
2、效果
在这里插入图片描述
3、代码
https://github.com/etzinis/sudo_rm_rf

DC-CRN

Yanxin Hu1;∗, Yun Liu2;∗, Shubo Lv1, Mengtao Xing1, Shimin Zhang1, Yihui Fu1, Jian Wu1, Bihong Zhang2, Lei Xie1
1Audio, Speech and Language Processing Group (ASLP@NPU), School of Computer Science, Northwestern Polytechnical University, Xi’an, China
2AI Interaction Division, Sogou Inc., Beijing, China

DCCRN组合了DCUNET 和CRN的优势，在相同的模型参数大小情况下，仅用了1/6的DCUNET计算量，就达到了DCUNET的效果。
成就：Interspeech 2020 Deep Noise Suppression (DNS)，实时赛道第一名，非实时赛道第二名。
非实时赛道的第一名是Amazon的PoCoNet模型，由于是非实时，就不展开介绍了。
在这里插入图片描述

1、 模型框架
在这里插入图片描述
在这里插入图片描述
2、效果
在这里插入图片描述
可以看到DCCRN-CL 和DCUNET 参数大小和PESQ指标都很接近，但是DCCRN-CL的计算量是DCUNET的1/6。
3、代码
https://github.com/huyanxin/DeepComplexCRN
https://github.com/maggie0830/DCCRN
4、笔记分享
Deep Complex Convolution Recurrent Network(DCCRN模型)

DTLN

Nils L. Westhausen and Bernd T. Meyer
Communication Acoustics & Cluster of Excellence Hearing4all Carl von Ossietzky University, Oldenburg, Germany
1、 模型框架
在这里插入图片描述
2、效果
在这里插入图片描述
在这里插入图片描述
3、代码
https://github.com/breizhn/DTLN
4、笔记转载
阅读笔记—DTLN

Sepformer

Cem Subakan1, Mirco Ravanelli1, Samuele Cornell2, Mirko Bronzi1, Jianyuan Zhong3
1Mila-Quebec AI Institute, Canada, 2Universit`a Politecnica delle Marche, Italy 3University of Rochester, USA

是DPRNN的一个变种算法，主要由multi-head attention 和 feed-forward layers组成。采用了DPRNN引入的双路径框架，并将RNN替换为a multiscale pipeline composed of transformers，可以学习短期和长期依赖关系。
1、 模型框架
在这里插入图片描述
2、效果
在这里插入图片描述
3、代码
https://github.com/speechbrain/speechbrain/

SDD-Net

Andong Li1;2, Wenzhe Liu1;2, Xiaoxue Luo1;2, Guochen Yu1;3, Chengshi Zheng1;2, Xiaodong Li1;2
1Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of
Sciences, Beijing, China
2University of Chinese Academy of Sciences, Beijing, China
3Communication University of China, Beijing, China

Deep Noise Suppression Challenge – INTERSPEECH 2021 第一名
1、 模型框架
在这里插入图片描述

2、效果
在这里插入图片描述
3、未找到开源代码

DPCRN

Xiaohuai Le1;2;3, Hongsheng Chen1;2;3, Kai Chen1;2;3, Jing Lu1;2;3
1Key Laboratory of Modern Acoustics, Nanjing University, Nanjing 210093, China
2NJU-Horizon Intelligent Audio Lab, Horizon Robotics, Beijing 100094, China
3Nanjing Institute of Advanced Artificial Intelligence, Nanjing 210014, China

Deep Noise Suppression Challenge – INTERSPEECH 2021 第四名
1、 模型框架
在这里插入图片描述

2、效果

在这里插入图片描述
3、代码
https://github.com/Le-Xiaohuai-speech/DPCRN_DNS3
4、笔记转载
DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement—论文翻译

剑心拔刀
关注
  • 13
    点赞
  • 踩
  • 96
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
U-Net
ddana_a的博客
08-29 1604
自动歌唱声音分离的任务包括估计孤立地唱出的旋律和伴奏的声音。 清晰的声音信号有助于其他相关的MIR任务，例如歌手识别[18]和歌词转译。 使U-Net体系结构适应了声音分离的任务。该体系结构被引入生物医学成像中，以提高神经元结构的显微图像的精度和定位。该体系结构建立在完全卷积网络上，类似于反卷积网络。在反卷积网络中，一堆卷积层（每个层将图像的大小减半，但将通道数量加倍）将图像编码为较小的深度表示。然后通过一堆上采样层将该编码解码为图像的原始大小。 在自然图像的再现中，通常仅一个像素的位移就不会被认为是主要的
论文翻译：2020_SEWUNet：Monaural Speech Enhancement Through Deep Wave-U-Net
凌逆战的博客
12-01 473
论文地址：基于深度波形U-Net进行单耳语音增强 论文代码：https://github.com/Hguimaraes/SEWUNet 引用格式：Guimarães H R, Nagano H, Silva D W. Monaural speech enhancement through deep wave-U-net[J]. Expert Systems with Applications,...
推荐项目：DPCRN_DNS3 - 单声道语音增强的未来
最新发布
gitblog_00029的博客
06-07 401
推荐项目：DPCRN_DNS3 - 单声道语音增强的未来 项目介绍 项目地址:https://gitcode.com/Le-Xiaohuai-speech/DPCRN_DNS3 DPCRN_DNS3 是一个由xiaohuai.le创建并维护的开源项目，它是“双路径卷积循环网络（DPCRN）”的官方实现，该工作在深度噪声抑制挑战赛中荣获第三名。这个项目的目的是通过先进的深度学习算法提高单声道语音的质...
使用 TensorFlow 2.0 实现深度音频降噪
慕伏白の博客
11-02 2522
使用 TensorFlow 2.0 实现深度音频降噪
Python 声音降噪
桜
11-18 9244
录音文件降噪 from scipy.io import wavfile import noisereduce as nr import pyaudio import time import wave rate, data = wavfile.read("001.wav") _,noisy_part = wavfile.read("noise.wav") SAMPLING_FREQUENCY=16000 reduced_noise = nr.reduce_noise(y=data, y_noise=noi
RNNoise – 基于深度学习的降噪方案
danteLiujie的专栏
10-18 1万+
更多RNNoise相关文章请查看RNNoise学习和翻译系列 上图显示了噪声抑制前后（上图为原语音, 下图为处理后）音频的声谱图。 这是RNNoise 该演示演示了RNNoise项目，展示了如何将深度学习应用于噪声抑制。主要思想是将经典信号处理与深度学习相结合，以创建一种小型且快速的实时噪声抑制算法。无需昂贵的GPU, 它可以在树莓派(Raspberry Pi)上轻松运行。它...
使用pytorch搭建自编码器，实现图像的去噪
12-18
使用pytorch搭建自编码器，实现图像的去噪
C/C++音频算法: noise suppression算法及技术资料汇总
源代码杀手的博客
03-09 6816
Noise suppression，就是大家说的降噪。这种降噪是把人声和非人声区分开来，把非人声当成噪声。 一段包含人声和噪声的音频经过该模块处理，从理论上讲，只剩下人声了。 webrtc的NS在业内还是赫赫有名的，通过实际对比测试，我们发现webrtc的降噪的确是性能和稳定性 都要高于同类开源算法。 webrtc的ns原理是这样的：把启动前50帧的数据拿来构建噪声模型，把启动前200帧的信号强度用来计 算归一化的频谱差值计算。根据这两个模型使用概率目的函数来计算出每帧的信噪比并区分出噪声和声音， 然后根据
ICASSP2023 | TEA-PSE 3.0: 深度噪声抑制（DNS）竞赛个性化语音增强冠军方案解读
weixin_48827824的博客
03-30 2193
由微软发起的深度噪声抑制（Deep Noise Suppression Challenge）竞赛已经连续举办了五届，在ICASSP 2023上举办的最新一届竞赛[1]旨在促进全频带（48 kHz）实时个性化语音增强，赛道一围绕头戴麦克风（headset）语音增强，赛道二围绕扬声器麦克风（speakerphone）语音增强。
【语音降噪】Denoiser（Pytorch）
化甘
07-10 2641
文章目录ReferenceGit CloneInstallationDenoisingTrainL1 -> SiSNR Reference 【Denoiser Github主页】https://github.com/facebookresearch/denoiser#4-denoising 【Denoiser论文】Real Time Speech Enhancement in the Waveform Domain: https://arxiv.org/pdf/2006.12847.pdf Git C
【五分钟会，半小时懂】人声分离Demucs
热门推荐
xian0710830114的专栏
09-09 2万+
目录 效果演示 Demucs介绍 Demucs的使用 Demucs原理 效果演示 https://www.bilibili.com/video/BV123411i7ZY/ https://www.bilibili.com/video/BV1BP4y1a7hG/ Demucs介绍 Demucs是Facebook开源的声音分离模型，简单易用，结构简单，现在很多应用都以Demucs作为baseline进行优化。 Demucs提供了Demucs和Convs - .........
RNNoise的python版本
07-11
源RNNoise是C语言写的，阅读门槛较高，我对照着每行C语言改写成了Python，python阅读起来更加轻松，方便大家对RNNoise的更深一步了解，以及调试代码。
Matlab实现音频降噪
06-03
在音频处理领域，降噪是一项重要的任务，尤其是在信号采集、传输或存储过程中可能出现的噪声干扰。Matlab作为一款强大的数值计算和数据可视化软件，提供了丰富的工具箱和函数，支持音频处理，包括音频降噪。本资源是...
webRTC音频降噪C语言开发代码
01-22
这些算法通常基于统计模型，通过分析音频信号的特性来区分语音和噪声，从而降低噪声的影响。 C语言作为底层编程语言，被广泛用于实现这类高效且实时的音频处理算法。WebRTC中的音频降噪代码会涉及到以下几个关键...
音频降噪资料源码.zip
04-25
网上搜集的学习资料 音频降噪 音频处理 24小时内删除网上搜集的学习资料
音频降噪(android-webrtc-ns).zip
12-28
在Android平台上实现音频降噪功能，WebRTC是一个强大的开源项目，它提供了实时通信（RTC）的基础设施，包括音频和视频的编码、解码以及网络传输等。本项目专注于WebRTC中的噪声抑制（NS）模块，将它独立出来并编译为...
MATLAB音频信号降噪kalman滤波
11-29
MATLAB音频信号降噪kalman滤波
RNNoise: Learning Noise Suppression（深度学习噪声抑制）（1）
dakeboy的博客
02-28 1万+
前言 我将通过几篇文章来介绍一下RNN用于降噪的实例。 综合论文和项目介绍及代码编写 原文链接：https://people.xiph.org/~jm/demo/rnnoise/ 上图显示了前后音频噪声抑制的频谱图。（上：noisy，中：RNNoise，下：clean speech） RNNoise 该演示介绍了RNNoise项目，显示了如何将深度学习应用于噪声抑制。主要思想是将经典信号处理与深...
自编码器图像去噪-pytorch实现
小飞鸟
04-10 6190
概念 自编码器的两个核心部分是编码器和解码器，它将输入数据压缩到一个潜在的空间中，然后再根据这个空间将数据进行重构得到最后的输出数据。整个架构都是采用神经网络构建，与普通的神经网络架构相似。 作用 对图像去噪； 对数据进行压缩降维； 数据 采用的数据是MNIST数据集，把数据集下载放在MNIST_data文件夹中，也可以先下载好数据集放在文件夹中。 网络构建 网络结构的编码器与普通的神经网络差...
语音降噪模型matlab
08-09
在MATLAB中，可以使用各种方法来实现语音降噪模型。以下是一种常见的方法示例： 1. 加载语音数据：使用`audioread`函数加载原始语音数据，例如： ```matlab [x, fs] = audioread('input.wav'); ``` 2. 预处理：对原始语音信号进行预处理，例如去除直流分量、归一化等： ```matlab x = x - mean(x); x = x / max(abs(x)); ``` 3. 设置降噪参数：根据需求设置降噪模型的相关参数，例如帧长、帧移、窗函数等： ```matlab frameLength = 256; frameShift = 128; window = hamming(frameLength); ``` 4. 分帧和加窗：将语音信号分帧，并对每一帧应用窗函数： ```matlab frames = buffer(x, frameLength, frameLength-frameShift, 'nodelay'); frames = frames .* repmat(window, 1, size(frames, 2)); ``` 5. 计算频谱：对每一帧进行快速傅里叶变换（FFT）以获取频谱： ```matlab spectrogram = abs(fft(frames)); ``` 6. 估计噪声谱：通过选择合适的方法（如短时平均、中值滤波等）来估计噪声谱： ```matlab noiseSpectrum = median(spectrogram, 2); ``` 7. 降噪处理：根据噪声谱对频谱进行降噪处理，例如使用估计的噪声谱减去语音信号的频谱： ```matlab cleanSpectrum = spectrogram - repmat(noiseSpectrum, 1, size(spectrogram, 2)); ``` 8. 合成语音：将降噪后的频谱进行逆变换得到时域信号，并合成为降噪后的语音： ```matlab cleanFrames = real(ifft(cleanSpectrum)); cleanSignal = overlapAdd(cleanFrames, frameShift); ``` 以上仅为一个简单的示例，实际的语音降噪模型可能会使用更复杂的算法和技术。你可以根据具体需求和领域知识对上述步骤进行调整和改进。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

剑心拔刀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值