基于Mask的语音分离

已于 2023-10-15 16:16:49 修改
阅读量1.7w 收藏 100
点赞数 14
分类专栏： 语音信号处理 文章标签： 语音识别 人工智能
于 2020-05-08 19:09:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_35821976/article/details/106004026
版权

目录

1. 时频掩蔽

2. 语音分离

​Mask这个单词有的地方翻译成掩蔽有的地方翻译成掩膜，我个人倾向于掩蔽这个翻译，本文就用掩蔽来作为Mask的翻译。

1. 时频掩蔽

我们都知道语音信号可以通过时域波形或者频域的各种频谱来表示，此外语谱图可以同时展示时域和频域的信息，因此被广泛应用，如下图所示。

现在我们假设有两段语音信号，一段是音乐信号，另一段是噪声，它们混合在一起了，时域波形和对应的语谱图分别如下图所示：

如果我们想

了解本专栏 订阅专栏 解锁全文 超级会员免费看
非典型废言
关注
  • 14
    点赞
  • 踩
  • 100
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
订阅专栏
语音分离任务中后处理模块探索
好河流
02-28 507
后处理模块目标：用于人声音乐分离的场景 增加这个模块的初衷是：尽可能抑制空白vocal部分的残留，只后处理vocal，不处理伴奏 1.例： 可以看到vocal本身是空白的地方，模型并没有完全输出空白 2.也有paper里边提到对空白部分vocal的抑制效果，不过它使用MHE(MINIMUM HYPERSPHERICAL ENERGY)，相当于是在loss上加了一个regularization，并...
基于Mask的音频降噪
Zxy_Ray的博客
11-17 1542
mask是常用于图像处理的抠图算法，将其用于音频降噪处理，对语谱图进行操作，掩蔽噪声像素，保留有效信号像素。对加性噪声情况下具有良好的恢复效果。
【语音分离】基于EASI算法实现语音信号盲源分离附Matlab代码
最新发布
m0_57702748的博客
06-19 1380
语音分离是近年来语音信号处理领域的研究热点之一，其目标是在混杂的音频信号中分离出各个独立的语音源。在现实生活中，我们经常会遇到多种声音源混合在一起的情况，例如多人同时说话、背景噪声干扰等，这些混杂的音频信号会严重影响语音的识别和理解。因此，语音分离技术具有重要的应用价值，例如语音识别、听觉辅助设备、会议系统等。盲源分离 (BSS) 技术。
语音分离简单的频域介绍方法
weixin_48186491的博客
10-09 414
频域的解决方法，使用特征提取器代替STFT直接建立有用的数据，再在分离结束时，用还原器，还原成声音的信息。 基于Masking的解决方案： 通过对mask的分离综合审判，得到两个矩阵向量，然后分别用矩阵向量和原始的混合与一个矩阵信息，想乘，得到了两个分离的纯净的信息。 说明一下：这里的M1和M2可以分别是binary（0/1）或者是连续值（continuous） IBM：Ideal Binary Mask 针对上面的掩模信息，做的一个想法。 通过比较，在矩阵中的每一个格内比较红和蓝，
实习学习记录——记录声音分离与降噪处理学习总结（第三、四天）
weixin_43775636的博客
07-29 799
今天可以说真的是充满迷惑的一天，整个人都沉浸在一种“这是啥，我是谁”的状态里。迫使我不得不还没下班就来总结自己的学习，要不然怕是会一直浑噩地浪费掉这一天。 1. 语音分离目标 1.1 主要目标 语音分离有许多重要的应用, 总结起来主要有 两个方面： 以人耳作为目标受体, 提高人耳对带噪语音的可懂度和感知质量, 比如应用于语音通讯； 以机器作为目标受体, 提高机器对带噪语音的识别准确率, 例如应用...
深度学习-语音识别实战
07-18
基于深度学习的语音识别实战课程主要包括三部分内容：1.经典论文算法讲解；2.算法源码解读；3.项目实战；通俗讲解语音识别领域当下经典论文思想，详细解读源码中每一核心模块并基于真实数据集展开项目实战。整体课程覆盖语音识别领域四大核心主题：语音识别，语音分离，语音转换，语音合成；每一主题均按照论文思想解读，源码分析，项目实战顺序进行讲解。提供课程所需全部数据集，代码，PPT课件。
基于深度学习特征融合和联合约束的单通道语音分离方法.docx
02-23
"基于深度学习特征融合和联合约束的单通道语音分离方法" 本文探讨了一种基于深度学习特征融合和联合约束的单通道语音分离方法，以解决单通道语音分离问题。该方法通过结合深度学习特征融合和联合约束，提高了单通道...
基于深度神经网络的双声道混响语音分离
02-26
基于深度神经网络的双声道混响语音分离是一项深入研究语音信号处理领域的技术，其核心目标是通过深度学习算法来处理在混响条件下，从双声道输入中分离出目标语音。这项研究以深度神经网络（DNN）作为主要工具，它在...
基于深度神经网络的语音分离算法
10-19
实现功能：对深度神经网络进行训练，实现将语音从噪声中分离出来。 （语音文件中提供了高斯白噪声和人群噪声）
什么是掩蔽效应？
LoongEmbedded的专栏
10-29 2187
一个较弱的声音(被掩蔽音)的听觉感受被另一个较强的声音(掩蔽音)影响的现象称为人耳的“掩蔽效应”。 人耳的掩蔽效应 一个较弱的声音(被掩蔽音)的听觉感受被另一个较强的声音(掩蔽音)影响的现象称为人耳的“掩蔽效应”。被掩蔽音单独存在时的听阈分贝值，或者说在安静环境中能被人耳听到的纯音的最小值称为绝对闻阈。实验表明，3kHz—5kHz绝对闻阈值最小，即人耳对它的微弱声音最敏感；而在低频和高频区绝对闻阈值要大得多。在800Hz--1500Hz范围内闻阈随频率变化最不显著，即在这个范围内语言可储度最高。在掩蔽情况下
Speech Separation，语音分离详解——语音信号处理学习（七）
m0_56942491的博客
11-17 2922
本文主要介绍了语音分离任务中的评估指标，包括信噪比(SNR)和幅度不变信号失真比(SI-SDR/SI-SNR)等；同时讨论了样本排列问题、深度聚类、PIT以及TasNet等技术应用在语音分离任务中的优缺点和发展。此外，还探讨了未知说话人数、多麦克风、视觉信息和任务导向优化等方面的研究。
频域噪声模型估计的话音增强方法
golfbears的博客
04-07 1022
传统的噪声谱密度估计理论并没有随着神经网络的出现而衰退，因为经典的算法模型大大降低了运算速度，而将比较难搞的（估算）参数交给神经网络后，模型实现起来更简单实惠，所以有必要对此做一个回顾学习。
基于Matlab的BP神经网络在语音特征信号识别中的应用
老马的程序人生
01-05 6987
本微信图文详细介绍了BP神经网络在语音特征信号中的应用，并给出了Matlab源码。
如何利用matlab做BP神经网络分析（包括利用matlab神经网络工具箱）
热门推荐
mensyne的博客
11-21 14万+
利用MATLAB 进行BP神经网络的预测（含有神经网络工具箱） 最近一段时间在研究如何利用预测其销量个数，在网上搜索了一下，发现了很多模型来预测，比如利用回归模型、时间序列模型，GM（1,1）模型，可是自己在结合实际的工作内容，发现这几种模型预测的精度不是很高，于是再在网上进行搜索，发现神经网络模型可以来预测，并且有很多是结合时间序列或者SVM（支持向量机）等组合模型来进...
音视频知识-掩蔽效应
张芳涛
03-13 6164
写在前面 如果大家对音视频相关知识感兴趣，可以订阅我的专题 视频播放器和音视频基础知识。 正文 掩蔽效应概念 所谓的掩蔽效应是指： 一个较弱的声音的听觉感受被另一个较强的声音影响的现象，我们就称之为人耳的“掩蔽效应”。“掩蔽效应”在实际声学应用中有很重要的作用。 我们假设安静的环境下，听清楚声音A的阈值为30dB，若此时又能同时听见声音B，这时由于B的影响，使得 A的阈...
从鸡尾酒会问题入门语音分离
weixin_43609115的博客
05-28 4564
前言 谷歌这篇文章《Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation》，宣称“攻克”了鸡尾酒会问题。从提供的视频演示来看，可以通过滑动控制只听某一个人说话，非常神奇。 这篇文章本身大概讲了这么一个事： 提出一个视觉-听觉联合模型，通过视觉信息来检测环境中谁在说什么并且分离出来；模型包含两个网络来分别分析视频和音频，通过融合层合并特征，最后使用传统
分离混合语音的python代码
10-14
分离混合语音是指将接收到的混合语音信号分离成独立的音频流，即还原出原始的各个音频源。在Python中，可以使用谱减法(Spectrogram Subtraction)来实现混合语音的分离。以下是一个基本的分离混合语音的示例代码： `...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值