A Time Delay Neural Network with Shared Weight Self-Attention for Small-Footprint Keyword Spotting浅析

文章：A Time Delay Neural Network with Shared Weight Self-Attention for Small-Footprint Keyword Spotting

中心思想：通过共享自注意力机制的权重，在维持性能不变的情况下，减少模型参数
本文的创新点：一是，用前馈神经网络代替在注意力机制中常用的回归神经网络，加速模型计算；二是，自注意力机制中的三个矩阵进行参数共享，减少模型参数
文章中提到的技术：TDNN、self-attention、SWSA(Shared-Weight Self-Attention)
TDNN技术：获取序列的局部特征
self-attention技术：用三个不同的权重矩阵将特征映射到不同空间中、获取序列的全局特征
shared-weight self-attention技术：用同一个权重矩阵将特征映射到同一空间中、减少模型参数
文章中提到的模型结构如图所示：

模型结构：第一层TDNN-SUB（TDNN降采样层），实现方法：采用滑动窗的方式，在输入层矩阵Tin上设置一个宽度W为3（通常根据第一层拼帧结构决定）的滑动窗，当步长K超过1时（步长不易超过窗长），达到了降采样的效果，维度Dout减少为(Tin − w + 1)/k向上取整