WangDeLiangReview2018 - (3)学习目标

最新推荐文章于 2023-08-02 22:33:46 发布
最新推荐文章于 2023-08-02 22:33:46 发布
阅读量1.7k 收藏 21
点赞数 7
分类专栏： 语音Speech 文章标签： 语音识别 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FonFon27/article/details/113787065
版权
本文聚焦于有监督语音分离中训练目标的重要性，介绍了基于掩膜和映射的两种目标类型，并详细讨论了如IBM、TBM、IRM、SMM、PSM等具体目标。通过评估指标如SDR、SIR、SAR、STOI和PESQ，揭示了不同目标对语音可理解度和质量的影响。研究表明，比例掩膜通常优于二值掩膜，而IRM和SMM是最优选目标。
摘要由CSDN通过智能技术生成

【WangDeLiangOverview2018】

Supervised Speech Separation Based on Deep Learning: An Overview

DeLiang Wang / Jitong Chen @ Ohio

IEEE/ACM Trans. ASLP2018

 

【目录】

1. 引入

2. 学习机器(learning machines)

3. 训练目标(training target)

4. 特征

5. 单声道分离

6. 多声道分离(阵列分离)

7. 更多内容

 

【正文】

3. 训练目标(training target)

在有监督的语音分离中，定义合适的训练目标(training target)对学习和泛化具有重要意义。主要有2组训练目标，即基于掩膜(masking-based)的目标和基于映射(mapping-based)的目标。基于掩膜的目标，描述干净语音与背景干扰的时频关系，而基于映射的目标，对应干净语音的谱表示(spectral representation)。在本节中，我们调查了该领域提出的一些培训目标。

在回顾训练目标之前，让我们先描述一下语音分离中常用的评价指标(evaluation metrics)。根据个别研究的目标，文献中提出了各种度量标准。这些指标可以分为两类:信号级别和感知级别。在信号级(signal level)，度量旨在量化信号增强或干扰减少的程度。除了传统的信噪比SNR外，分离信号中的语音失真(loss)和噪声残留也可以单独测量[77][113]。一组突出的评估指标包括源失真比SDR(Source-to-Distortion Ratio)、源干扰比SIR(Source-to-Inference Ratio)和源伪影比SAR(Source-to-Artifact Ratio)[165]。

感知级。由于语音分离系统的输出信号往往被听话者消费，因此人们花费了大量的精力来定量地预测听话者对分离信号的感知。可理解度(intelligibility)和语音质量(quality)是语音感知(perception level)的两个主要但又不同的方面，因此已经开发了客观指标来

最低0.47元/天 解锁文章
民工渣渣辉
关注
专栏目录
WangDeLiangReview2018 - (4)特征
FonFon27的博客
02-27 877
【WangDeLiangOverview2018】 Supervised Speech Separation Based on Deep Learning: An Overview DeLiang Wang / Jitong Chen @ Ohio IEEE/ACM Trans.ASLP2018 【目录】 1. 引入 2. 学习机器(learning machines) 3. 训练目标(training target) 4. 特征 5. 单声道分离 5.1 语音增强(sp...
WangDeLiangReview2018 - (5.4)说话人分离
FonFon27的博客
01-30 1342
WangDeLiangOverview2018 1. 引入 2. learning matchines 3. training target 4. 特征 5. 单声道分离 6. 多声道分离(阵列分离) 7. 更多内容 5. 单通道分离(monaural separation) 5.1 语音增强(speech separation) 5.2 语音增强的泛化 5.3 语音去混响 & 去噪(speech dereverberation & denoising) 5.4.
声源分离算法性能评估指标SIR、SDR、SAR
qq_37215867的博客
06-22 5839
声源分离算法用于从混合的观测声信号中分离出一个或者多个期望源信号，如语音降噪、去混响、音乐信号分离等。评价一个声源分离算法性能的好坏，就是要衡量算法所提取的源信号和真实源信号之间的差异。目前最常用的评价指标是Emmanuel[1]等提出的源失真比（source-to-distortion ratio, SDR）、源干扰比（source-to-interference ratio, SIR）和源伪影比（source-to-artifact ratio, SAR）。下面我们来介绍一下指标计算的原理。......
DCCRN详读-翻译-概括
eva_in_tree的博客
05-25 1632
DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement DCCRN：用于相位感知的语音增强的深度复数卷积递归网络 摘要 随着深度学习的成功语音增强在可理解性和可感知质量方面都有了提升。传统上，在时频(TF)上的方法主要是通过简单的卷积神经网络(CNN)或循环神经网(RNN)预测时频的遮罩矩阵或语音频谱。最近的一些研究使用复数频谱图作为训练目标，但训练是在实数网络中完成，其分别预测幅值.
Learning Complex Spectral Mapping With Gated Convolutional---论文翻译
caixiaobaideye的博客
07-15 1232
用门控的复杂频谱映射学习 复杂频谱映射的学习 单声道语音增强 作者： Ke Tan , Student Member, IEEE, and DeLiang Wang , Fellow, IEEE 摘要： 相位对于语音的感知质量很重要。 然而，通过监督学习直接估计相位谱似乎很困难 由于其中缺乏频谱时间结构，通过监督学习直接估计相位谱似乎很难。复杂频谱映射的目的是估计 复杂频谱映射的目的是估计干净语音的实谱和虚谱，从那些 噪声语音的实谱和虚谱，这同时增强了语音的幅值和 语音的相位响应。受多任务学习的启发，我们
【计算机视觉|语音分离】期望在嘈杂环境中聆听：一个用于语音分离的不依赖于讲话者的“音频-视觉模型”
最新发布
远
08-02 2830
我们提出了一个联合的“音频-视觉模型”（joint audio-visual model），用于从混合声音（如其他讲话者和背景噪音）中分离出单一的语音信号。仅使用音频作为输入来解决这个任务极其具有挑战性，并且不能将分离出的语音信号与视频中的讲话者关联起来。在这篇论文中，我们提出了一个基于深度网络的模型，它结合了视觉和听觉信号（incorporates both visual and auditory signals）来解决这个任务。
AGC 自动增益控制
qian556688的博客
09-10 3365
AGC，automatic gain control，自动增益控制，是指在录音的过程中，系统根据声音大小自动调整音量，使声音大小尽量保持一致。在电话网络中，经常会出现通话双方音量大小不一致的情况，软件的“自动增益控制”功能将使双方音量大小趋于一致，使声音更加清晰、动听。 AGC是使放大电路的增益自动随信号的强度而调整的自动控制方法。对放大器的增益进行自动调节的过程。通常是为了使随输入信号电平变化而引起的输出信号电平变化少。 它利用线性放大和压缩放大的有效组合对助昕器的输出信号进行调整。当弱信号输入时,线性放
WangDeLiangReview2018 - (1)引入
FonFon27的博客
02-28 322
【WangDeLiangOverview2018】 Supervised Speech Separation Based on Deep Learning: An Overview DeLiang Wang / Jitong Chen @ Ohio IEEE/ACM Trans.ASLP2018 【目录】 1. 引入 2. 学习机器(learning machines) 3. 训练目标(training target) 4. 特征 5. 单声道分离 5.1 语音增强(sp...
WangDeLiangReview2018 - (7)讨论&总结
FonFon27的博客
02-28 239
【WangDeLiangOverview2018】 Supervised Speech Separation Based on Deep Learning: An Overview DeLiang Wang / Jitong Chen @ Ohio IEEE/ACM Trans.ASLP2018 【目录】 1. 引入 2. 学习机器(learning machines) 3. 训练目标(training target) 4. 特征 5. 单声道分离 5.1 语音增强(sp...
语音合成代码matlab-peass-software:来自http://bass-db.gforge.inria.fr/peass/PEAS
05-27
语音合成代码matlab PEASS软件 版本2.0，2011年10月。作者：Valentin Emiya和Emmanuel Vincent，法国INRIA。 这是Valentin Emiya（法国INRIA），Emmanuel Vincent（法国INRIA），Niklas Harlander（德国奥尔登堡大学），Volker Hohmann（德国奥尔登堡大学）的联合工作。 减少Audionamix在i3DMusic项目（）中提出的分解步骤的计算时间。 做什么的？ PEASS软件提供了一套用于评估音频源分离的可感知动机的客观指标。 与BSS Eval类似，失真信号被分解为三个分量：目标失真，干扰，伪像。 然后使用这些组件来计算四个质量得分，即OPS（总体感知得分），TPS（与目标相关的感知得分），IPS（与干扰相关的感知得分），APS（与工件相关的感知得分）。 与BSS Eval的SDR / ISR / SIR / SAR度量相比，这些分数与人类评估更好地相关。 在哪种情况下？ 无论通道数量如何，此方法都可以应用于源信号或其空间图像。 安装软件 将文件解压缩到新目录。 下载第三方并将
深度学习掩膜_深度学习在AEC中的应用探索
weixin_39770626的博客
11-21 386
本文来自大象声科高级算法工程师闫永杰在LiveVideoStackCon2019北京大会上的分享。闫永杰介绍了深度学习在回声消除(AEC)中的应用。正如我们所知，AEC是 在线音视频通话(VoIP)领域中一个非常棘手的问题，目前应用比较广泛的AEC方法主要还是基于传统信号处理的方法。大象声科在成功将深度学习应用于人声和噪声分离的基础上，正在通过引入深度学习技术，解决回声消除问题。文 /...
论文研究7：DEEP LEARNING FOR MONAURAL SPEECH SEPARATION
qq_43473149的博客
12-11 589
论文研究7：DEEP LEARNING FOR MONAURAL SPEECH SEPARATION abstract 单声道信号源分离对于许多实际应用而言都是有用的，尽管这是一个具有挑战性的问题。 在本文中，我们研究了用于单声道语音分离的深度学习。 我们提出了使用额外的屏蔽层对深度学习模型（深度神经网络和递归神经网络）进行联合优化的方法，该方法会强制执行重构约束。 此外，我们探索了神经网络的判别训练准则，以进一步提高分离性能。 我们使用TIMIT语料对单声道语音分离任务进行评估。 与NMF模型相比，我们提
深度学习语音增强
shichaog的专栏
05-02 5486
深度学习语音增强 我的书： 购买链接： 京东购买链接 淘宝购买链接 当当购买链接 在我的这本书里，详述了基于信号处理的语音降噪（NS）和回声消除（AEC）算法，并对基于监督深度学习降噪介绍了例子；这里对深度学习方法做个补充总结。 传统信号处理方法是经过全人类数百年经验积累而得到的，源于大千世界，因而模型的普适性较强，而监督深度学习依赖监督对象（训练集），由于训练集始终只能是大千世...
论文翻译：2022_PACDNN: A phase-aware composite deep neural network for speech enhancement
凌逆战的博客
02-15 1198
论文地址：PACDNN：一种用于语音增强的相位感知复合深度神经网络 相似代码：https://github.com/phpstorm1/SE-FCN 引用格式：Hasannezhad M，Yu H，Zhu W P，et al. PACDNN： A phase-aware composite deep neural network for speech enhancement[J]. Speec...
语音论文阅读(端到端ASR:从监督学习到具有现代体系结构的半监督学习)
暮木的博客
01-04 889
论文： END-TO-END ASR: FROM SUPERVISED TO SEMI-SUPERVISED LEARNING WITH MODERN ARCHITECTURES 摘要 利用伪标签(pseudo-labeling）ResNet,ConvNets,Transformers,使用CTC或者Seq2Seq损失函数，但半监督可改善整个体系结构和损耗函数中的所有模型，并弥合它们之间的许多性能差距。研究不同数量的未标记音频的效果，提出了几种评估未标记音频特性的方法，这些方法可以...
深入解构magnitude_spectrum()
weixin_30765319的博客
08-25 1209
深入解构magnitude_spectrum() 二话不说，现附上官方文档链接matplotlib.axes.Axes.magnitude_spectrum magnitude_spectrum(self, x, Fs=None, Fc=None, window=None, pad_to=None, sides=None, scale=None, *, data=None, **kwa...
第三章---《实时语音处理实践指南》语音端点检测笔记
Evan_love的博客
07-18 718
一、 简要描述  语音端点检测（VAD）用于判断给定的音频数据是否存在语音，其常用在语音编解码、降噪、增益控制、波束形成以及唤醒识别等算法中。VAD检测给定音频数据含有语音的频率，VAD方法通常包括特征提取和语音、非语音判决两部分，当前使用的语音特征主要有时域和频域两种，时域特征包括能量波动、过零率、最大能量和最小能量等，频域特征主要有基频、频谱组成、频谱质心、谱差、谱密度、谱衰减等。用于VAD判决的特征通常可以分为六大类：能量、频域、倒谱、谱差、谐波和长时信息，基于能量的特征计算简单，如能量过零率，基于谱
基于深度循环神经网络的单通道人声与音乐的分离-论文翻译
SoundSlow的博客
05-08 5206
SINGING-VOICE SEPARATION FROM MONAURAL RECORDINGS USING DEEP RECURRENT NEURAL NETWORKS 主体内容：作为当前的一大热门，语音识别在得到快速应用的同时，也要更适应不同场景的需求，特别是对于智能手机而言，由于元器件的微型化导致对于语音处理方面的器件不可能很大，因此单通道上的语音分离技术就显得极为重要，而语音分离...
训练语音降噪模型的一些感想
哈哈哈博客
03-03 1479
当前基于深度学习的语音降噪方法主要分为两个类： 基于TF时频域的方法 （有两大类：基于mask和非基于mask的方法） 基于时域的方法，就我自己的实验结果来说，基于时域的方法比基于TFmask的方法要差一些，可能这样方法的trick更多一些吧。 基于时频域方法中的基于mask的方法更常见一些，主要的是对语音提取频域特征，通过计算干净音频和对应的加噪音频的频域特征计算一个频域的mas...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值