H-vector： 论文阅读

任务

生成utterance-level embedding

做法

将音频语句看成一个文档， 可以被分成若干段和帧（看成是文档中的句子和词语）。 先得到segments representation后在综合起来得到utterance representation。

Hierarchical attention

Frame-level encoder and Attention

假设输入的Mel谱被分为N段： S ∈ R M N ∗ L = { S 1 , S 2 , . . . , S N } S \in \mathcal R^{MN*L}=\{S_1,S_2,...,S_N\} S∈RMN∗L={S1​,S2​,...,SN​}.
每一段为： S i ∈ N M ∗ L = { x i 1 , . . . x i , M } S_i \in \mathcal N ^{M*L}=\{x_{i1},...x_{i,M}\} Si​∈NM∗L={xi1​,...xi,M​}, 包含M个L维的声学特征向量，$x_{i,t}\in {\mathcal{R}}^{1\ast L}$.

在frame-level encoder中， 每个段先经过各自的1-D CNN ， 再经过一个双向的GRU。
S i ′ = C N N ( S i ) h → i = G R U → ( S i ′ ) h ← i = G R U ← ( S i ′ ) h i = [ h → i , h ← i ] = { h i , 1 , . . . h i , M } S_{i}^{'}= CNN(S_i)\\ \overrightarrow h_i = \overrightarrow {GRU} (S_{i}^{'})\\ \overleftarrow h_i = \overleftarrow {GRU}(S_{i}^{'})\\ h_i =[\overrightarrow h_i, \overleftarrow h_i]=\{h_{i,1},...h_{i,M}\} Si′​=CNN(Si​)h i​=GRU (Si′​)h i​=GRU (Si′​)hi​=[h i​,h i​]={hi,1​,...hi,M​}

在frame-level attention层， 先用两层的全连接层将$h_i$转成score vector $z_i$, 然后计算注意力权重：
$$\begin{gathered} {\alpha }_{i,t}=\frac{exp(z_{i,t})}{{\sum }_{t=0}^{M}exp(z_{i,t})} \\ {z}_{i,t}=Relu(h_{i,t}{W}_{i,0}+b_{i,0})W_{i,1} \\ {W}_{i,0}\in {\mathcal{R}}^{E\ast E},b_{i,0}\in {\mathcal{R}}^{1\ast E},W_{i,1}\in {\mathcal{R}}^{1\ast E}共享参数 \\ {A}_{i,t}={\alpha }_{i,t}\ast h_{i,t} \end{gathered}$$

在 statistics pooling层， 计算$A_i$的均值向量${\mu }_i$ 和 标准差向量${\sigma }_i$, 之后将两个向量拼接在一起得到段向量$V_{S_i}$
$$V_{S_i}=concatenate({\mu }_i,{\sigma }_i)$$

frame-level的输出为： V S ∈ R N ∗ E = { V S 1 , V S 2 , . . . , V S N } V_S \in \mathcal R^{N*E} = \{V_{S_1},V_{S_2},...,V_{S_N}\} VS​∈RN∗E={VS1​​,VS2​​,...,VSN​​}

Segment level Encoder and attention

和 frame-level 的过程相似， 但是减少了一个GRU层， 目的是为了加速训练过程。
在attention层， 权重计算过程为：
$$\begin{gathered} {\alpha }_i^s=\frac{exp(z_i^s)}{{\sum }_{i=0}^{N}exp(z_i^s)} \\ {z}_i^s=Relu(V_{S_i}{W}_{n,0}+b_{n,0})W_{n,1} \end{gathered}$$

实验

数据集：

模型结构：

实验结果：