ICASSP2020论文阅读记录1 - 基于VAE的鲁棒视听语音增强(audio-visual speech enhancement)方法

---

论文: Robust unsupervised audio-visual speech enhancement using a mixture of variational autoencoders

原文地址: VAE-AVSE. 本文是在阅读原文时的简要总结和记录。

---

Abstract

1. 动机

• 视听(audio-visual)语音增强比纯音频(audio_only)语音增强(SE)效果更好;
• 但在视觉信息不可靠时(e.g. 遮挡)，AVSE模型并不鲁棒

2. 本文工作：基于混合VAE的AVSE模型。

• 混合模型包含两部分：trained audio_only VAE和trained audio-visual VAE
• 在遇到不可靠的视觉帧时，将AVSE模型切换至AOSE模型，以解决鲁棒性的问题。
• 通过变分EM方法(variational expectation-maximization)估计模型参数

---

Introduction

1. 已有基于VAE的纯音频语音增强(audio-only SE)

使用VAE对语音频谱进行建模，通过考虑NMF(nonnegative matrix factorization)噪声方差模型以无监督的方式进行语音增强。

2. 本文的前序工作：基于VAE的AVSE模型

AVSE将视觉信息(e.g lip video frames)与noisy speech一起输入模型，获得clean speech。论文 Audio-Visual Speech Enhancement Using Conditional Variational Auto-Encoders 将基于VAE的AOSE模型扩展为AVSE模型，证明了AVSE比AOSE性能要好，尤其是在信噪比较低时。

3. 现有AVSE模型的缺点：在不可靠的视觉信息时不鲁棒

视觉信息不可靠(e.g. 唇部遮挡)时AVSE模型可能比AOSE模型效果还差。

4. 本文的主要工作：使AVSE模型在视觉信息不可靠时也能拥有鲁棒性能

• 提出了VAE混合模型：trained AOSE & AVSE模型；
• 在视觉信息不可靠时，选择AOSE模型，跳过noisy video frames；
• 选择使用AOSE还是AVSE模型要以一种无监督的方式在每帧时都进行，因此提出了一种变分推断结构来解决此问题。

---

基于VAE的SE模型

1. 基于VAE的AOSE模型

令$s_{fn}$表示复值STFT结果，其中 f ∈ { 0 , … , F − 1 } f\in \{0,\dots,F-1\} f∈{0,…,F−1}表示频率下标， n ∈ { 0 , … , N − 1 } n\in \{0,\dots,N-1\} n∈{0,…,N−1}表示时间下标。在每一时频bin，有如下概率生成模型，即AOSE-VAE:
$$s_{fn}|{\mathbf{z}}_{\mathbf{n}}\sim {\mathcal{N}}_c(0,{\sigma }_{\mathbf{f}}^{\mathbf{a}}({\mathbf{z}}_{\mathbf{n}})),$$ $${\mathbf{z}}_{\mathbf{n}}\sim \mathcal{N}(0,\mathbf{I})$$
1). ${\mathbf{z}}_{\mathbf{n}}\in {\mathbb{R}}^{\mathbf{L}},\mathbf{L}\ll \mathbf{F}$，是隐随机变量；
2). $\mathcal{N}(0,I)$表示0均值单位方差的高斯分布；
3). ${\mathcal{N}}_c(0,\sigma )$表示具有0均值和$\sigma$方差的单变量复值高斯分布；
4). ${\mathbf{s}}_{\mathbf{n}}\in {\mathbb{C}}^{\mathbf{F}}$表示在第$n$帧时的STFT;
5). { σ f a : R L → R + } f = 0 F − 1 \{\sigma_f^a: \mathbb{R}^L \rightarrow \mathbb{R}_+\}_{f=0}^{F-1} {σfa​:RL→R+​}f=0F−1​表示非线性函数，可以用神经网络建模，输入是${\mathbf{z}}_{\mathbf{n}}\in {\mathbb{R}}^{\mathbf{L}}$。
这些参数是通过定义另一个神经网络(称为编码器/推理网络)使用变分推理来估计的，该网络在给定bf{s_n}的情况下逼近\bf{z_n}的后验。

2. 基于VAE的AVSE模型

$$s_{fn}|{\mathbf{z}}_{\mathbf{n}},{\mathbf{v}}_{\mathbf{n}}\sim {\mathcal{N}}_c(0,{\sigma }_{\mathbf{f}}^{\mathbf{a}\mathbf{v}}({\mathbf{z}}_{\mathbf{n}},{\mathbf{v}}_{\mathbf{n}})),$$ $$z_{ln}|{\mathbf{v}}_{\mathbf{n}}\sim \mathcal{N}({\mu }_{\mathbf{l}}({\mathbf{v}}_{\mathbf{n}}),{\sigma }_{\mathbf{l}}({\mathbf{v}}_{\mathbf{n}}))$$
1). ${\mathbf{v}}_{\mathbf{n}}\in {\mathbb{R}}^{\mathbf{M}}$，表示第n帧时的lip embedding;
2). { σ f a v ) : R L × R M → R + } f = 0 F − 1 \{\sigma_f^{av}): \mathbb{R}^L\times \mathbb{R}^M \rightarrow \mathbb{R}_+\}_{f=0}^{F-1} {σfav​):RL×RM→R+​}f=0F−1​表示非线性函数，可以用神经网络建模，输入是${\mathbf{z}}_{\mathbf{n}},{\mathbf{v}}_{\mathbf{n}}$;
3).产生 zn 的先验的非线性函数 { μ l : R M → R } l = 0 L − 1 \{\mu_l: \mathbb{R}^M \rightarrow \mathbb{R}\}_{l=0}^{L-1} {μl​:RM→R}l=0L−1​和 { σ l : R M → R } l = 0 L − 1 \{\sigma_l: \mathbb{R}^M \rightarrow \mathbb{R}\}_{l=0}^{L-1} {σl​:RM→R}l=0L−1​是用一个以 \bf{v_n} 作为输入的神经网络建模的。
以类似于AOSE-VAE 的方式，定义编码器(Encoder)网络, 在给定${\mathbf{s}}_{\mathbf{n}}$和${\mathbf{v}}_{\mathbf{n}}$的情况下逼近${\mathbf{z}}_{\mathbf{n}}$的后验，再与解码器和先验联合训练。

---

VAE混合模型：提出了一种自动选择机制，为每一帧选择AOSE/AVSE

VAE混合模型(VAE-MM)：

其中${\alpha }_n$是控制第n帧选择AO/AVSE的隐变量，由参数为$\pi$的Bernoulli分布建模。

---

VAE-MM的训练与推断

带噪语音信号可以表示为$x_{fn}=s_{fn}+b_{fn}$，其中噪声信号$b_{fn}\sim {\mathcal{N}}_c(0,({\mathbf{W}}_{\mathbf{b}}{\mathbf{H}}_{\mathbf{b}}{)}_{\mathbf{f}\mathbf{n}})$，即前述NMF噪声模型。其中${\mathbf{W}}_{\mathbf{b}}\in {\mathbb{R}}^{\mathbf{F}\times \mathbf{K}}$是一个半正定矩阵，表示频谱功率模式；${\mathbf{H}}_{\mathbf{b}}\in {\mathbb{R}}^{\mathbf{K}\times \mathbf{N}}$也是半正定矩阵，表示时域激活，$K(F+N)\ll FN$。
待估计参数可以写作 Θ = { W b , H b , π } \Theta=\{\bf{W}_b, \bf{H}_b, \pi\} Θ={Wb​,Hb​,π}，使用变分期望最大化(Variational Expectation Maximization, VEM)方法来估计这些参数。后验分布可以如下近似：

其中的变分因子可以通过最小化其与真实后验分布的KL散度来估计。
这一节主要是给出了EM算法的推导结果，就不罗列在此了。主要思想是先求${\mathbf{s}}_{\mathbf{n}},{\mathbf{z}}_{\mathbf{n}},{\alpha }_{\mathbf{n}}$的期望，在通过最大似然更新参数。