WangDeLiangReview2018 - (6)多通道/阵列分离

【WangDeLiangOverview2018】

Supervised Speech Separation Based on Deep Learning: An Overview

DeLiang Wang / Jitong Chen @ Ohio

IEEE/ACM Trans. ASLP2018

 

【目录】

1. 引入

2. 学习机器(learning machines)

3. 训练目标(training target)

4. 特征

5. 单声道分离

    5.1 语音增强(speech separation)

    5.2 语音增强的泛化

    5.3 语音去混响 & 去噪(speech dereverberation & denoising)

    5.4 说话人分离(speaker separation)

6. 多声道分离(阵列分离)

7. 更多内容
 

【正文】

麦克风阵列提供多个单通道录音，其中包含指示声源空间来源的信息。当声源在空间性分离(spatially separation)时，可以利用传感器阵列输入对声源进行定位，然后从目标位置或方向提取声源。传统的基于空间信息的源分离方法包括第1节提到的波束形成和独立分量分析[8][85][3]。声源定位(sound localization)和基于位置的分组是听觉感知(auditory perception)和CASA[12][15]中的经典话题[172]。

A. 基于空间特征提取的分离方法

监督分离的第一个研究是由Roman等人[141]在双耳领域进行的。这个研究基于两种双耳特征:ITD和ILD进行监督分类来估计IBM，这两种特征都是从左耳和右耳耳蜗图中的独立T-F单元对提取的。注意，在本例中，IBM是根据单个ear(参考通道)上的嘈杂语音定义的。分类是基于最大后验概率(MAP)给出的，其中似然(likelihood)是由概率密度估计技术给出。Yilmaz和Rickard[199]几乎同时发表了另一种经典的双传感器分离技术DUET (Degenerate Unmixing Estimation technique)。DUET基于无监督聚类，使用的空间特征是两个麦克风之间的相位和幅度差异。在这些研究中，分类和聚类之间的对比是一个持续的主题，预计在以后的研究中也会出现类似的对比，例如用于波束形成的二值掩蔽[71]与聚类[72](见6.B节)，用于说话者无关的说话者分离的深度聚类[69]与掩码估计[101](见5.4节)。

在深度学习中使用阵列提供的空间信息作为特征，是在早期的单通道DNN分离上的的直接延伸扩展；简单地用空间特征代替了单听觉特征。事实上，这种利用空间信息的方式为源分离提供了一个整合单耳和空间特征的自然框架，对此值得强调的地方是，此乃传统研究倾向于追求阵列分离而不考虑单耳分组。值得注意的是，人类听觉场景分析无缝集成了单耳和双耳分析，利用了特定环境中存在的任何判别信息[15][172][30]。

首次使用DNN进行双耳分离的研究是由Jiang等人发表的[90]。在本研究中，来自两只耳朵(或麦克风)的信号被传递到两个相应的听觉滤波器组。从T-F单元对中提取ITD和ILD特征，发送给子带DNN进行IBM估计，每个频率通道一个DNN。此外，从左耳输入中提取了一个单耳特征(GFCC，见表1)。从这项研究中可以得出许多结论。也许最重要的是观察到训练过的DNN可以很好地推广到未训练过的声源空间配置。空间配置(spatial configuration)是指声源和传感器在声环境中的特定位置。这是使用监督学习的关键，因为有无限的配置情况，且训练集不能枚举各种配置。结果表明，基于DNN的双耳分离方法可以很好地概括出噪声和混响时间。当目标和干扰源在同一位置或距离较近时，单耳特征的加入可提高分离性能。<