DPRNN网络结构

已于 2022-04-18 11:31:46 修改
阅读量2.4k 收藏 9
点赞数 2
文章标签： python
于 2022-04-17 21:57:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/night_Ragnarok/article/details/124229120
版权
本文介绍了DPRNN网络在语音分离任务中的应用，该网络通过编码、分离和解码三个阶段实现高效处理。在wsj0-2mix数据集上，DPRNN能提升SI-SNR指标达18.8dB。网络处理两个32000长度的音频片段，并利用LSTM进行特征提取。文章还提及了排序、注意力机制、全排列等概念，并讨论了损失函数和梯度裁剪策略。此外，还涉及到了数据存储和索引操作的示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

下为DPRNN的网络结构，随手画的，错了请提醒。
网络分为编码、分离、解码
该网络能够在语音分离中的数据集wsj0-2mix 达到SI-SNR提升18.8db的效果。
该网络数据读取时为两个32000长度的音频片段，一个为音频开头，一个为音频结尾；在训练时随机选一个放入网络
在这里插入图片描述

  1. sorted( infos, key=lambda info: int(info[1]), reverse=True)进行排序，reverse代表降序，key代表是按info[1]的维度.
  2. break 是中断该次小循环的这一次循环，如果该小循环由其他包含它的循环重启，则小循环继续。
    • xs[0]，在形状中指xs的维度，如xs.size()=[16,64,2,32000],则* xs[0]代表[,64,2,32000]的形状，x[0].new(1,1,* xs[0])则为[1,1,16,64,2,32000]而与x无关，应该和x的类型有关。
  4. LSTM双向则输入层加倍，因为双向LSTM的输出也为双倍
  5. getattr获得属性值
  6. bf_filter = self.output(output) * self.output_gate(output)这种滤波器不太懂,我觉得像一个全权重的注意力机制.
  7. permutations(range(C)返回可迭代对象的所有数学全排列
  8. 该网络使用-SI-SNR作为损失函数
  9. json.dump(file_infos, f, indent=4)将python中的对象转化成json储存到文件中，indent写入的文本的缩进
  10. torch.nn.utils.clip_grad_norm_(self.model.parameters(), self.max_norm)对于存在梯度爆炸的情况， 在优化器函数之前执行这个函数，可以重新整合一遍梯度梯度缩小到指定范围
  11. result.index_add_(-2, frame, subframe_signal)按第-2维度，将result和subframe_signal相加，即先按dim和 frame将subframe_signal重新排列，frame有重复的维度则subframe_signal对该维度数据也重复相加，最后与result相加。如下代码，x[:,1]=t[:,0]+t[:,4]
x = torch.tensor([[1, 2, 32000, 1],[1,2,5,8]])
t = torch.tensor([[1, 1, 5, 8,2], [1,1,2,5,1]])
index = torch.tensor([1, 0,2,3,1])
x.index_add_(1, index, t)
print(x.size())
print(x)

torch.Size([2, 4])
tensor([[    2,     5, 32005,     9],
        [    2,     4,     7,    13]])
风灵渡口
关注
第九章（3）：双向循环神经网络(BiRNN)：理解与应用
安静到无声
07-22 793
双向循环神经网络（Bidirectional Recurrent Neural Network，Bi-RNN）是一种循环神经网络（Recurrent Neural Network，RNN）的变体。与传统的单向RNN不同，双向RNN引入了时间上的反向连接，使得网络能够同时考虑过去和未来的信息。
多说话人混叠场景下进行语音分离和语音增强，以便 ASR 系统能更好地识别主要说话人的声音
走向CTO的路上...
08-10 683
通过使用预训练的语音分离模型（如 Conv-TasNet），我们可以在多说话人混叠场景下有效地分离主要说话人的语音，从而提高 ASR 系统的识别准确性。上述示例展示了如何加载预训练模型并进行离线和实时音频处理。
DPRNN的学习
weixin_48186491的博客
10-09 2792
可以以非常简单的方式组织任意类型的RNN层（不重要，因为我这里会换成transformer）。 优点： 1.模型更小 2.性能更好（SI-SNR） 模型组成： 首先肯定是encoder和decoder了，一个声音的信号经过编码才会得到这种L*N的形式。 1.Segmentation（分割模块） 把输入分割成重叠的块，再把所有的块连接为3-D张量。 先记住这里有一个点：K=2P（就是对应的划分好了的关系！！！！） 输入W：N*L规格的向量信息，N表示词向量维度特征，L表示时间步长。 把
PR0FIBUS—DP网络结构
09-12
DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构DP网络结构
单通道说话人语音分离——DPRNN(Dual-Path Recurrent Neural Network)
pk296256948的博客
02-28 2241
近年来，基于深度学习的语音分离的研究证明了时域方法优于传统的基于时频的方法。与时频域方法不同，时域分离系统通常接收由大量时间步长组成的输入序列，这给极长序列的建模带来了挑战。传统的递归神经网络（RNNs）由于优化困难，对如此长的序列建模无效，而一维卷积神经网络（一维CNNs）在其接受域小于序列长度时，无法进行话语级序列建模。
基于DPRNN的信号分离任务（科研小记）
ignb6666的博客
12-21 2273
信号分离与重建任务在深度学习领域已经取得了长足进步。特别是在纯语音分离领域，深度聚类方法和置换不变训练方法为语音分离的起步夯实了基础。在传统的信号分离任务中，基于时频域的信号分离需要将信号进行短时傅里叶变换，将时域信号转换为时频域信号。因为时频域信号更易于提取语音特征，例如基于人耳听觉的特征MFCC等。同时，经过短时傅里叶变换的时频域信号容易通过逆傅里叶变换重建为时域信号。而基于时域的信号分离需要搭建一个编码器-解码器的端到端模型。其中编码器将时域信号映射成高位特征向量，而解码器会重建分离的信号特征。
[语音分离论文小记]Dual-Path RNN (DPRNN)
五好市民金闪闪的博客
01-06 3699
作者 Yi Luo, Zhuo Chen, Takuya Yoshioka 发表于 ICASSP 2020 源码 网上的阅读笔记1 网上的阅读笔记2 DPRNN、时域、长语音序列 研究发现基于时域的分离方法要比基于时频域的分离方法要好，但是与时频域方法相比，时域方法在对长语音序列方面有困难。本文提出了DRPNN对RNN进行优化使其可以对长语音序列进行建模，DPRNN将长语音序列分割成更小的块，并迭代地应用块内和块间操作，其中在每次操作中，输入长度可以与原始序列长度的平方根成正比。 Introdu
MulCat DPRNN的学习
weixin_48186491的博客
10-09 566
总体网络结构： 同时优化分离和说话人识别两个目标实现更好的说话人分离，此外该网络能够实现5-6人的分离，因此该网络是一个很好的设计。 用了新的网络的RNN构架方法； 不使用mask掩码，提出新的loss计算方法。 模型总体介绍： 这个模型主要借鉴了罗艺的DPRNN的架构方式，运用了encoder，separator，decoder的架构方式。 编码器encoder： 输入：x∈ℝ????，代表混合语音的信号，T不是固定的数值。 经过一维卷积网络E（参数：kernel size
DUAL-PATH RNN: EFFICIENT LONG SEQUENCE MODELING FOR TIME-DOMAIN SINGLE-CHANNEL SPEECH SEPARATIO
aidanmo的博客
04-04 3172
文章目录1. 简介2. 模型架构2.1 分段2.2 块处理2.3 重叠相加3. 实验部分 1. 简介 DPRNN提出的依据：因此如果出现超长的语音序列，使用传统的RNN模型将无法高效的处理。而一维卷积的感受野小于音频序列长度，因此无法进行utterance-level的语音分离。 DPRNN 是一种双路径递归神经网络，在深度模型上优化RNN，使其可以对极长的语音序列进行建模。其将较长的音频片段分成较小的块（chunk），迭代应用块内和块间操作。 当前时域的语音分离方法主要分为两个部分：自适应前端和直接回归
针对EEG/ECG等长时含各类噪声的生理信号，DPRNN如何分理处各个信号成分
03-11
DPRNN（Dual-Path Recurrent Neural Network）是一种结合**短时序列建模**和**长时依赖捕捉**的神经网络结构，最初用于语音分离[^1]。其核心思想是通过**分块处理**（Chunking）和**双路径循环网络**（RNN），分别...
以下是我的论文创新点，请帮我润色并整理：在双向长短时记忆及加性注意力语音分离算法中，创新点如下： 1）为简化模型结构并解决模型过拟合问题，将FC层替换为本文设计出的FFN模型并引入Dropout模块。 2）在BLAA模型中，块内部分使用Bi-LSTM结合前向和后向的信息流，提高该模型对序列数据的理解和预测能力。块间计算引入加性注意力机制，加性注意力利用元素乘法替代传统的矩阵乘法，提升了模型的计算效率，降低计算复杂度。 在WHAM!、WSJ0-2mix数据集上的实验结果表明，与基线模型DPRNN相比，所提出的BLAA模型在更少的模型参数量下，在噪声环境中实现了更优的分离性能。 在适宜注意力局部循环语音分离算法中，创新点如下： 1）本文设计了一个创新的分离模型，命名为SALR。该模型通过局部和全局交替序列建模来解耦混合信号，帮助语音信号提取。并针对加性注意力在权重计算方面的不足，设计出适宜注意力模块，使其在噪声环境下表现出更好的分离性能，解决了传统方法在复杂噪声环境中的不足。 在WHAM!、WSJ0-2mix数据集上的实验结果表明，所提出的SALR模型在降低了模型参数量的情况下，在噪声环境中实现了更优的分离性能，提升建模能力并有效减小模型尺寸。最后通过语谱图，验证了模型分离后的效果。
最新发布
03-25
通过对 Bi-LSTM 结合加性注意力机制以及 SALR 模型的实验分析发现，它们相对于双路径递归神经网络（DPRNN）基线模型具备如下优势： 1. **更低的计算成本** 新提出的改进方案成功削减了不必要的运算操作，整体运行...
DPN（Dual Path Network）网络结构详解
zy的博客
07-30 2916
Dual Path Networks 网络结构详解
DPRNN 学习
weixin_47569031的博客
10-23 1024
双路径循环语音分离神经网络（Dual-Path RNN）由三个处理阶段组成, 编码器、分离和解码器。首先，编码器模块用于将混合波形的短段转换为它们在中间特征空间中的对应表示。然后，该表示用于在每个时间步估计每个源的乘法函数（掩码）。最后利用解码器模块对屏蔽编码器特征进行变换，重构源波形。 DPRNN被广泛的应用在语音分离等任务上，取得了显著的效果。
推荐文章：探索高效语音分离之旅 - 双路径RNN（DPRNN）在wsj0-2mix上的应用
gitblog_00015的博客
06-07 877
推荐文章：探索高效语音分离之旅 - 双路径RNN（DPRNN）在wsj0-2mix上的应用 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在语音处理的浩瀚宇宙中，双路径RNNs-DPRNNs-based-speech-separation是一项引人注目的开源项目。该项目基于PyTorch实现，旨在解决单通道时域语音分离的挑战，特别是针对wsj0-2mix数据集的处理。...
论文阅读：DPCRN: Dual-Path Convolution Recurrent Network for Single ChannelSpeech Enhancement
weixin_44915288的博客
01-12 2097
将 DPRNN 模块与卷积递归网络 (CRN) 相结合，设计了一种称为双路径卷积递归网络 (DPCRN) 的模型，用于时频域中的语音增强
语音分离论文：Dual-Path RNN
ignb6666的博客
12-24 1878
论文标题：Dual-Path RNN: Effective Long Sequence Modeling for Time-Domain Single-Channel Speech Separation。
TextCNN和DPCNN
yanglee0
05-12 682
一、TextCNN TextCNN详细过程 二、DPCNN 1、背景 近期在分析长短文本的分类问题，所以探索并比较了一些模型选型方案，一般简单的短文本分类模型可以将TextCNN模型作为baseline，但是如果文本较长，TextCNN就不太适用了。因为TextCNN是浅层网络【ShallowCNN，下图(b)所示】，对文本的长距离依赖捕获能力有限，若想要克服TextCNN的缺点，显然要用到特征提取能力更强的DeepCNN。 那么该如何构造这种DeepCNN的网络结构呢？比如最简单的直接一堆等长卷积可否？
【个人总结】基于深度学习的语音分离代码及论文
weixin_42853410的博客
06-10 4979
个人总结基于深度学习的语音分离代码及论文
请写出用于语音增强的DPRNN网络的Python代码
09-03
### 回答1： import torch from torch import nnclass DPRNN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers=2): super(DPRNN, self).__init__() self.num_layers = num_layers self.input_dim = input_dim self.hidden_dim = hidden_dim self.output_dim = output_dim #RNN and Linear modules self.rnns = nn.ModuleList() self.linear = nn.ModuleList() for i in range(num_layers): self.rnns.append(nn.GRU(input_dim, hidden_dim, batch_first=True)) self.linear.append(nn.Linear(hidden_dim, output_dim)) def forward(self, x): #RNN forward pass out = x for i in range(self.num_layers): out, _ = self.rnns[i](out) out = self.linear[i](out) return out ### 回答2： DPRNN（Dual-Path Recurrent Neural Network）是一种用于语音增强的神经网络模型。它通过将原始语音信号分离为清晰语音和噪声成分，提高语音信号的质量。下面是一个使用Python实现的简单的DPRNN网络代码示例： ```python import torch import torch.nn as nn import torch.nn.functional as F class DPRNN(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers): super(DPRNN, self).__init__() self.hidden_dim = hidden_dim self.num_layers = num_layers self.rnn = nn.LSTM(input_dim, hidden_dim, num_layers, batch_first=True, bidirectional=True) self.fc = nn.Linear(hidden_dim * 2, output_dim) def forward(self, input): B, T, F = input.size() # B: batch_size, T: sequence_len, F: feature_dim input = input.permute(0, 2, 1) # (B, F, T) for LSTM # DPRNN output, _ = self.rnn(input) # (B, F, 2H) output = output.view(B, F, 2, self.hidden_dim) # (B, F, 2, H) output = torch.sum(output, dim=2) # (B, F, H) # Feature-wise gated output gated_output = torch.sigmoid(self.fc(output)) # (B, F, O) # Masking and Enhancement output = input * gated_output.unsqueeze(3) # (B, F, T, O) output = output.permute(0, 2, 1, 3) # (B, T, F, O) return output ``` 在这个DPRNN网络中，我们首先使用一个双向LSTM层对输入语音信号进行编码。然后，通过一个全连接层将LSTM输出映射到所需的输出维度。接下来，我们使用一个sigmoid函数将特征维度进行门控，以产生特征权重。最后，我们将这些权重应用于输入信号，将不需要的噪声成分移除，以增强语音信号。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值