多通道_端到端声源分离研究进展报告笔记-多通道分离

最新推荐文章于 2024-08-06 22:27:00 发布
最新推荐文章于 2024-08-06 22:27:00 发布
阅读量564 收藏 2
点赞数
文章标签： 多通道
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32307987/article/details/112633462
版权

之前一直不怎么理解波束成形beamformer和空间滤波相关操作，听了luo yi大佬的讲座报告之后有一些启发，可以在深蓝学院里看到相关视频

Beamformer是波束成形多通道空间滤波的方法，多通道的两种方法除了深度学习波束成形以外就是单通道方法直接拓展到多通道场景，波束成形本质是解一个带限制的优化问题，保留某一个方向来的特征，目标不是某一信号，而是保留某一方向来的信号的特征或者把某一方向来的噪声降为最低，不过端到端监督学习需要信号作为训练目标，所以常用第一个通道下的目标信号作为目标，传统的波束成形就是做空间上的滤波，一般需要一个目标方向

MVDR对于不同角度来的声音频率响应不同，会存在一个方向来的声音完全不失真，这就是一个空间滤波的效果，滤波器分为线性滤波器/非线性滤波器

基于估计mask的方法：做beamformer需要知道目标声源哪里来，就利用若干秒干净信息只包含噪声或者纯净语音的来进行方向估计，可以是空间信息也可以是协方差信息，可以利用这个信息来辅助滤波器的设计，把这个信息当成约束解这个优化问题，但是有的时候不存在这样的干净信息，就利用单通道分离目标声源来进行协方差信息估计，这个方向主要在频域上，频域上beamformer简单

基于输出的：同样利用单通道分离去预分离，希望帮助估计beamformer滤波器的值，不限时域或者频域，不限mask

基于DNN：绕过beamformer下的优化问题，如MVDR无失真条件下信噪比最大，神经网络直接估计beamformer滤波器的值，更加端到端，直接用目标麦克风上纯净信号当成联合训练的目标

这是一个时域基于输出的beamformer比较好的例子

b898548e007f2ca8f8ac35b6d1359bc4.png

下面的工作基于mask，但是分离部分用的是时域的tasnet，后端用频域的MVDR，好处在于相较于直接基于mask的方法考虑到了相位的信息，相位也进行了修改，使用时域损失函数sisnr对于静音部分会很敏感，会激进的把能量减的很小，MVDR对于某个声源静音部分的消音即声源的消除上不会很彻底，如何结合单通道时域损失函数激进的消音能力和多通道失真上的能力帮助一个系统联合后处理，通用的语音分离、前后端的联合优化(端到端模型怎么解决域适应问题信道不匹配问题)

0ddc21bb80be8f2760d1114152a2a4a7.png

基于DNN的方法可以是频域上输出复数域上的beamformer滤波器，和识别后端联合训练，下面的是时域上的基于DNN的工作，输入层做时域的beamforming，通过把多通道信号拼在一起送给网络估计两个滤波器，filter可以应用在输入的每个信号里，进行filter and sum卷积求和，是标准的beamforming做法，后面接识别的网络做联合优化，这个方法并不是解优化问题得到filter，而是直接网络学习得到

58b0698ed8c10040762cfc4a134e514f.png

下面的工作和上一个框架类似，时域上做filter and sum，是直接用网络估计每个通道的滤波器filter，区别在于网络的设计和怎样用网络来做麦克风之间信息的共享

cb19233b79a4479670d9b50e6dd7cd2f.png

单通道拓展方面会有更多的工作，比较自然的扩展方式是利用多通道的特征，比如IPD通道间相位差通道间能量差，把这些信息融合进单通道模型之中，还有一种方式是可以借鉴图像把不同麦克风当成不同的通道直接送入卷积网络

多通道tasnet在单通道基础上结合一些方位信息来完成此任务，提取多通道IPD信息可以让这个提取IPD信息模块一起训练，另一个工作里抛弃了IPD的概念，直接用二维卷积来进行特征提取，捕捉不同通道特征差值

ffcf97aac3740f330e0e4341e0704777.png

可以绕过多通道特征，如下图把wave-unet直接拓展到多通道上

4acfd2b352472d16cc0f3a7246ac3771.png

现有问题和发展方向，WSJ数据集假设了只有2个人且重叠率100%(动态模拟数据产生可以避免这个问题)，这个假设不合理，开会或者对话说话人数目不确定，重叠部分也较少，最多只有两个人同时说话，怎么知道混合音频有几个说话人，保证模型有稳定的性能，可以做多说话人VAD，说话人diarization(依赖分离帮助分离可能可以帮助分离模型学到有多少人)，设计训练目标如每轮只分离一个说话人

wsj这种数据集句子长度较小，对于智能家居、手机助手等任务适用，但是需要长时间的分离比如会议转录，需要从句子方面的分离到段落方面的分离

ef3e5026d417d1ba8698c141b182489c.png
丁丁TINTIN
关注
大数据_Flink_Java版_状态一致性(2)-端到端状态一致性---Flink工作笔记0077
添柴程序猿的专栏
03-23 2510
然后我们来看,一致性检查点,可以看到, 一致性检查点,是flink故障恢复机制的核心,可以记录所有算子的状态,并且只记录一次, 精确恢复一次对吧. 我们可以看看,sum_even,这里的6 2+4 sum_odd这里的9 1+3+5可以看到 现在是,5这个数据处理完了,就把所有的状态都记录了.把5这个数据处理完以后, 所有的节点状态在jobmanager记录了可以看到,5,6,9都记录了,恢复的时候用 然后我们再看如果,数据继续走sum_even 2+4+6 sum_...
【文献阅读】基于分别训练频谱特征和空间特征的多通道环境声音分离
weixin_41981761的博客
09-24 1074
【文献阅读】基于分别训练频谱特征和空间特征的多通道环境声音分离前言主要贡献相关基于多通道方法的缺点本文的方法方法的具体介绍实验和数据在SSLS模块使用不同空间特征的对比模型对比 前言 这是一篇关于声音分离和识别的文章，介绍了一种基于多通道的声音分离和声音识别一体化方法，文章中也提到了很多其他方法，并进行了对比，适合想要了解声音识别方面内容的同学，可以通过这篇文章中提到的参考文献找到一系列其他文章。 论文阅读可能会存在理解不到位的地方，想要深入阅读的小伙伴可参考原文：https://link.springer
多通道语音分离、降噪和去混响：SpatialNet
gitblog_00016的博客
06-07 574
多通道语音分离、降噪和去混响：SpatialNet NBSS项目地址:https://gitcode.com/gh_mirrors/nb/NBSS 该项目是一个官方的代码库，包含了多篇在ICASSP和Interspeech等顶级会议上发表的研究论文的核心算法实现。其主要目标是处理多通道音频数据，进行窄带深度语音分离，并采用全频谱级联不变训练（Permutation Invariant Train...
深度学习--图像分割UNet介绍及代码分析
最新发布
Young_Zn_Cu
08-06 1335
U-net 架构（以最低分辨率为 32x32 像素为例），每个蓝色框对应一个多通道特征图。通道数显示在框的顶部。x-y 大小位于框的左下边缘。白框表示复制的特征图。箭头表示不同的操作。深蓝色箭头：利用3×3的卷积核对图片进行卷积后，通过ReLU激活函数输出特征通道；灰色箭头：对左边下采样过程中的图片进行裁剪复制；红色箭头：通过最大池化对图片进行下采样，池化核大小为2×2；绿色箭头：反卷积，对图像进行上采样，卷积核大小为2×2；青色箭头：使用1×1的卷积核对图片进行卷积。
beamformers:易于使用的Beamformers用于多通道语音分离增强
05-25
变形金刚 该库实现了一些最著名的波束形成器，用于信号源分离和语音增强。 波束形成器易于使用，并且在有人想要了解如何自行实现的情况下，可以以最简单的方式实现。 该库的思想是提供一种简单的方法，将用于源分离和/或语音增强的波束成形直接应用于存储为numpy数组的多通道麦克风录音。 对于大多数波束形成器而言，唯一需要的信息是混合物的麦克风录音（或嘈杂的语音）以及单独的一段噪声录音。 无需提供导向向量，因为它是从数据中自动提取的（请参阅docs，以获取有关其工作原理的更多信息）。 如果可以的话，仅记录目标语音将有助于估计导向向量，从而提供更清晰的输出。 现在也可以使用基于掩模的波束形成器！ 代码的某些部分是从借来的。 请参阅回购和以获取更多信息。 安装 简单地 pip install beamformers 或者 git clone https://github.com/Enny1991/
FASTICA盲源信号分离代码Matlab
05-29
FASTICA盲源信号分离代码Matlab
Wavesplit: End-to-End Speech Separation by Speaker Clustering
aidanmo的博客
03-08 3546
0. Abstract 本文提出了一种端到端声源分离系统，Wavesplit。从混合语音中，模型推断每个声源的表示，然后根据每个声源的特征表示进一步估计声源，该模型经过训练，可以从原始波形中联合执行这两项任务。Wavesplit通过聚类推断一组声源的特征表示，其解决了声源分离的基本排列问题。在语音分离任务中，本文工作对长语音序列具有更加稳健的分离性能。本文模型在2人/3人纯净语音(WSJ0-2/3mix)，以及带噪语音、混响语音数据集都获得STOA性能。 1. Introduction 设计的模型能够保持.
端到端语音分离技术及应用.pdf
01-08
端到端语音分离技术是近年来在语音处理领域发展迅速的一个重要方向，尤其在深度学习的推动下，它已经成为解决多说话人语音识别、会议录音处理等复杂场景的关键技术。本文将深入探讨这一领域的核心概念、最新进展以及...
Python-WaveUNet用于端到端音频源分离的多尺度神经网络
08-11
**Python-WaveUNet: 端到端音频源分离的多尺度神经网络** 音频源分离是音频处理领域中的一个重要任务，它涉及到从混合音频中提取出不同的声音源，如人声、乐器或背景噪声。在音乐制作、语音识别、视频会议等场景...
【损失函数】Keras Loss Function
化甘
07-01 4328
文章目录ReferanceSNR (Signal-to-Noise Ratio)Si-SNR (Scale invariant Signal-to-Noise Ratio)PIT (Permutation Invariant Training)uPIT (utterance-level PIT)uPIT-SiSNR 损失函数，也是模型训练中非常重要的一块。 常见损失函数： 语音分离： uPIT-SiSNR 语音增强：l1, mse Referance 关于uPIT Si-SNR https://blo
multichannel-unet-bss:介绍使用加权多任务丢失训练的用于音乐源分离的多通道U-Net
04-21
多通道Unet用于音乐源分离 注1 ：这些实验中使用的大多数模型的预训练权重在此处提供： : 注意2 ：有关演示，请访问我们的。 使用说明： 该存储库的组织方式如下：数据预处理步骤包含在以下文件夹中：代码/数据集。 └── dataset ├── compute_energy.py ├── dataloaders.py ├── downsample_gt.py ├── filter_musdb_split.py └── preprocessing.py 首先，下载musdb数据集，并使用命令获取.wav格式的样本。 将.wav文件保存在settings.py中与MUSDB_WAVS_FOLDER_PATH对应的文件夹中后，运行downsample_gt.py脚本以保存缩减采样的wav文件的副本，该副本将用作评估期间计算指标的参考。
【Dual-Path-RNN-Pytorch源码分析】loss函数:SI-SNR
安安爸Chris的专栏
09-12 7094
DPRNN使用的loss函数是 SI-SNR SI-SNR 是scale-invariant source-to-noise ratio的缩写，中文翻译为尺度不变的信噪比，意思是不受信号变化影响的信噪比 公式 公式如下： {starget=⟨s^,s⟩s∣∣s∣∣2enoise=s^−stargetSISNR=10log10∣∣starget∣∣2∣∣enoise∣∣2 \begin{cases} s_{target} = \cfrac {\lang{\hat s,s}\rangle s} {||s||
腾讯AI Lab语音技术中心应用与研究介绍
腾讯技术工程
09-13 2751
“CCF语音对话与听觉专业组走进企业系列活动”第十期之“走进腾讯”研讨会于上周六圆满闭幕，本次研讨会由上海交通大学钱彦旻副教授主持，并邀请到四位专家介绍腾讯语音及对话领域的最新成果，分别...
语音/音乐分离综述
yanyu2940497的博客
05-16 2406
—其实是鸡尾酒会效应，但是任意信号分离难度比较大。语音和噪音分离-enc，音乐分离，语音和语音之间分离，大概分这几种吧。其实严格来说还需要搭配声学事件检测之类的来进行，但是此处假定信号成分已知。——然后语音分离常见的是两个人分离，任意说话人数量的分离也是可以的，但是三个人以上的难度陡增。一般可分为单通道和多通道——多通道可能会用到额外的麦克风阵列辅助，也可能是每个通道做单通道分离。当然也可以是先单通道预分离再结合。——分离问题属于欠定问题，很适合用深度学习来解决。
[语音分离]端到端声源分离研究：现状、进展和未来
五好市民金闪闪的博客
01-06 4074
本文是由罗艺老师主讲的『端到端声源分离研究进展』f分享整理而来。内容主要覆盖了单通道和多通道上端到端音源分离的现状和进展以及未来的研究方向。文末有彩蛋，评论可获取课程学习资料~ 端到端音源分离定义与进展 什么是端到端音源分离呢？罗艺老师首先介绍了端到端音源分离的定义。从名称来看，端到端的含义是模型输入源波形后直接输出目标波形，不需要进行傅里叶变换将时域信号转换至频域；音源分离的含义是将混合语音中的两个或多个声...
基于Mask的音频降噪
Zxy_Ray的博客
11-17 1578
mask是常用于图像处理的抠图算法，将其用于音频降噪处理，对语谱图进行操作，掩蔽噪声像素，保留有效信号像素。对加性噪声情况下具有良好的恢复效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值