深度孪生自注意力网络:小样本条件下的多维时间序列分类

引言

本文解读了一种新的小样本条件下的多维时间序列的不均衡多分类算法，即聚类降采样+深度孪生自注意力网络(重点解读)。从功能上讲，聚类降采样是面向数据不均衡的数据重采样方法，而深度孪生自注意力网络是一种面向小样本条件下的多维时间序列数据的特征学习和分类方法。本文首先回顾了相关基础知识，然后介绍了深度孪生自注意力网络的动机和具体实现，希望对大家有所帮助。

1 相关基础

深度孪生自注意力网络主要建立在两个部分的基础之上：孪生神经网络和自注意力网络。

1.1 孪生神经网络

孪生神经网络作为一种度量学习，在Few-shot learning领域历久而弥新，依然活跃于各大顶会之中。相较于普通的神经网络，孪生神经网络的结构简洁而巧妙，是由两个结构相同且权重共享的神经网络拼接而成。值得注意的是，孪生神经网络以两个样本为输入，可以“指数级”地扩增训练样本的数目，对于小样本问题具有天然的优势。具体的网络结构如下图所示：

1.2 自注意力网络

自注意力网络无疑是近年来最成功的深度学习方法之一，并且在多维时间序列分析领域更是大放异彩。自注意力网络最核心的组件是多头自注意力机制