项目和资料汇总
一、语音分离发展历程
二、语音数据集处理
拟采用matlab生成wav数据集,然后使用python进行wav文件的读取和处理
三、语音分离评价指标
四、基于深度学习的语音分离(从网络角度及通道数划分)
1. 基于DPRNN的语音分离
- 【代码git】Dual-Path-RNN-Pytorch
【文章】Dual-Path RNN: Efficient Long Sequence Modeling for Time-Domain Single-Channel Speech Separation
【论文翻译】
【网络解析】
【网络解析2.0】
【论文总结】
【loss解析–SISNR】
2. 基于深度聚类的语音分离
-
【文章】深度聚类用于语音分离
Deep clustering: Discriminative embeddings for segmentation and separation -
【代码git】基于深度聚类的语音增强1
包括scp文件处理代码(用于自己数据集的处理) -
【代码git】基于深度的聚类语音增强2
包括scp具体是什么文件的介绍(用于自己数据集的处理)
3. 基于transformer的语音分离
- 【代码git】基于Conformer的语音分离
可下载LibriCSS dataset数据集 - 【文章】transformer用于语音分离
ATTENTION IS ALL YOU NEED IN SPEECH SEPARATION
4. 基于各种变化网络的语音分离
- 【代码git】基于DPTnet的语音分离
【文章】Dual-Path Transformer Network:端到端单声道语音分离的直接上下文感知建模 - 【代码git】基于DPRNN的语音分离
【文章】 Dual-path RNN:时域单通道语音分离的高效长序列建模
5、多通道的语音分离
- 【文章及代码】多通道窄带深度语音分离
【代码git】多通道窄带深度语音分离
【文章1】Multi-channel Narrow-band Deep Speech Separation with Full-band Permutation Invariant Training
【文章2】Multichannel Speech Separation with Narrow-band Conformer
五、第三方语音处理工具包
- 【工具包】Source Seperation
一个用于语音增强&分离&去噪的工具包