Adversarial Dynamic Shapelet Networks（对抗动态shapelet网络）

Adversarial Dynamic Shapelet Networks（2020AAAI）

之前的工作：使用随机梯度下降进行shapelet的学习，但是学出的shapelet可能与任何实际的子序列都不相似（LTS）且学到的shapelet是静态的，无法动态更新

贡献

• 我们提出了一个shapelet生成器，以动态生成特定于样本的shapelet，从而提高了建模灵活性和分类性能。
• 为了防止生成的小波产生任意形状，采用对抗训练策略以确保生成的小波类似于时间序列的实际子序列。
• 我们在大量时间序列数据集上的实验结果表明，提出的模型达到了最先进的性能，并且通过可视化分析证明了模型的有效性。

方法阐述

ADSN的一般结构如图1所示。shapelet生成器用于生成一组以输入时间序列的子序列为条件的shapelet。然后，对输入的时间序列执行动态shapelet变换，以提取判别特征，并使用softmax层来计算每个类别的最终概率分布。多样化正则项约束生成的shapelet彼此不同，而对抗训练策略确保生成的shapelet与实际子序列相似。

shapelet生成

为了生成以输入时间序列为条件的长度为$L$的shapelet，我们首先使用步长为1的$L$长度滑动窗口提取时间序列的子序列，然后使用一个卷积层来生成小波。

给定时间序列 $\mathbf{T}=\left{\mathbf{t}{1}, \mathbf{t}{2}, \ldots, \mathbf{t}_{n}\right} $

每个$t_i$包括$m$个真实值定义为 ${\left(t_i=t_{i,1},t_{i,2},\dots ,t_{i,m}\right)}^T$

使用长度为$L$，步长为1的滑动窗口可以$P$个子序列，然后拼接起来得到${\mathbf{O}}_i,$ where ${\mathbf{O}}_i\in {\mathbf{R}}^{L\times P}$
$${\mathbf{O}}_i={\mathbf{t}}_{i,1:L}\oplus {\mathbf{t}}_{i,2:L+1}\oplus \cdots \oplus {\mathbf{t}}_{i,P:m}$$
在$O_i$的长度方向上进行步长为1的卷积，${\mathbf{s}}_{i,j}\in {\mathbf{R}}^{L\times 1}$代表在第i个时间片段上生成的第j个shapelet
$${\mathbf{s}}_{i,j}={\mathbf{W}}_j\ast {\mathbf{O}}_i+b_j$$
${\mathbf{W}}_j\in {\mathbf{R}}^{w\times P}$定义了宽度为$w$的第$j$个filter，为了生成和原始数据尽可能相似的shapelet，不使用激活函数，然后生成i时刻的topk个shapelet如下
S i = { s i , 1 , s i , 2 , ⋯   , s i , j , ⋯   , s i , k } \mathbf{S}_{i}=\left\{\mathbf{s}_{i, 1}, \mathbf{s}_{i, 2}, \cdots, \mathbf{s}_{i, j}, \cdots, \mathbf{s}_{i, k}\right\} Si​={si,1​,si,2​,⋯,si,j​,⋯,si,k​}

动态shapelet变换

在生成之后，特殊采样的shapelet将原始时间序列转化为新的表示，每个属性是原始序列和生成某个序列的距离，其中$h\in R^{n,k}$，定义了shapelet转换表示，定义如下：
$$h_{i,j}=\underset{p=1,\cdots ,P}{\min }\sqrt{\sum _{l=1}^L{\left(t_{i,p+l-1}-s_{i,j,l}\right)}^2}$$
其中$s_{i,j,l}$为shapelet $s_{i,j}$ 的第$l$个值，由于使用的shapelet是根据输入动态生成的，所以表示称为动态shapelet表示

最后，变换表示被输入到softmax层得到标签分布：
$$\begin{array}{rl}{\hat{\mathbf{y}}}_i& ={\mathbf{W}}_{out}{\mathbf{h}}_i\\ P\left(C\mid {\mathbf{t}}_i\right)& =\mathrm{softmax}\left({\hat{\mathbf{y}}}_i\right)\end{array}$$
其中$h_i$是上述表示的输出，$W_{out}$是权重参数，$P\left(C\mid {\mathbf{t}}_i\right)$ 表示标签分布，其中使用dropout来避免过拟合

对抗训练策略

将shapelet约束为和实际的子序列相似，但不和子序列完全相同

使用对抗生成网络，训练shapelet生成器生成类似子序列的shapelet用来欺骗判别器D，交替更新ADSN和D的参数，通过最小化以下损失来进行训练：
$$L_D=-\sum _i\sum _p\log \left(D\left({\mathbf{t}}_{i,p:p+L-1}\right)\right)-\sum _i\sum _j\log \left(1-D\left({\mathbf{s}}_{i,j}\right)\right)$$
其中$D(\cdot )$代表判别器的结果，为了优化判别器，$D\left({\mathbf{t}}_{i,p:p+L-1}\right)$为1，而$D\left({\mathbf{s}}_{i,j}\right)$为0

多样性正则化

思想：相同的shapelet将会造成相同的时间序列表示，而对抗训练的模式崩溃会造成生成shapelet的相似，需要增加shapelet的多样性。

使用Frobenius正则化的shapelet相似矩阵，对于第i个时间片段间shapelet的相似性被定义为一个矩阵${\mathbf{G}}_i\in {\mathbf{R}}^{k\times k}$，其中每个元素定义了不同shapelet之间的相似度
$${\mathbf{G}}_i\left({\mathbf{s}}_{i,j},{\mathbf{s}}_{i,j^{\prime }}\right)=\exp \left(-\frac{d\left({\mathbf{s}}_{i,j},{\mathbf{s}}_{i,j^{\prime }}\right)}{{\sigma }^2}\right)$$
其中$d\left({\mathbf{s}}_{i,j},{\mathbf{s}}_{i,j^{\prime }}\right)$是是欧氏距离，是$\sigma$是RBF核参数，这里默认为1

总LOSS

L c l s = − 1 n ∑ i = 1 n ∑ r = 1 c 1 { y i , r = 1 } log ⁡ exp ⁡ ( y ^ i , r ) ∑ l = 1 c exp ⁡ ( y ^ i , l ) L d i v = ∥ G 1 ⊕ G 2 ⊕ ⋯ ⊕ G n ∥ F 2 L a d v = − 1 n × k ∑ i = 1 n ∑ j = 1 k log ⁡ ( D ( s i , j ) ) L A D S N = L c l s + λ d i v L d i v + λ a d v L a d v \begin{array}{c} L_{c l s}=-\frac{1}{n} \sum_{i=1}^{n} \sum_{r=1}^{c} 1\left\{y_{i, r}=1\right\} \log \frac{\exp \left(\hat{y}_{i, r}\right)}{\sum_{l=1}^{c} \exp \left(\hat{y}_{i, l}\right)} \\ L_{d i v}=\left\|\mathbf{G}_{1} \oplus \mathbf{G}_{2} \oplus \cdots \oplus \mathbf{G}_{n}\right\|_{F}^{2} \\ L_{a d v}=-\frac{1}{n \times k} \sum_{i=1}^{n} \sum_{j=1}^{k} \log \left(D\left(\mathbf{s}_{i, j}\right)\right) \\ L_{A D S N}=L_{c l s}+\lambda_{d i v} L_{d i v}+\lambda_{a d v} L_{a d v} \end{array} Lcls​=−n1​∑i=1n​∑r=1c​1{yi,r​=1}log∑l=1c​exp(y^​i,l​)exp(y^​i,r​)​Ldiv​=∥G1​⊕G2​⊕⋯⊕Gn​∥F2​Ladv​=−n×k1​∑i=1n​∑j=1k​log(D(si,j​))LADSN​=Lcls​+λdiv​Ldiv​+λadv​Ladv​​

$L_{cls}$是分类误差，$L_{div}$是多样性正则化，$L_{adv}$是对抗生成误差，$\Vert \cdot {\Vert }_F^2$代表frobenius范数，${\lambda }_{div}$和${\lambda }_{adv}$是正则化参数

试验部分

可以看出使用动态生成shapelet的方法的效果很好

在使用生成的shapelet对时间序列进行表示的过程中分类效果也是最好的

critical thinking：

1. 动态生成的shapelet是否可以对长时间的时间序列建模，属于同类的时间序列生成的shapelet是否相似，能够代表该类所有代表性子序列
2. 生成的shapelet是最优shapelet吗，是否能够证明最优问题