序列异常检测

序列在现实世界中是非常常见的一种数据形式，即在时间维度上传感器采集的数据流。我们最常见的序列数据像语音，自然语言，视频等信号，它们的共同点就是有很强的上下文。一般而言，任何高级有效的模型在处理这种数据时都会考虑这种上下文关系，充分挖掘潜藏的时空相关性，以对数据进行建模，比如混合动态纹理模型。而异常呢，一般在不同场景中有不同的定义，比如一个心脏跳动的信号，在平稳中突然跳动。那么这个跳动就是异常，任何高级的系统都会捕捉到异常并报警。无论是哪种异常，在计算机的世界里，无非就是在特征维度张成的空间中，根据相应的度量形式寻找远离簇的孤立点。其实，异常检测在现实世界中有着广泛的应用，并在各领域扮演着重要的角色，比如网络入侵，欺诈检测，视频监控等。
本文主要讨论在序列数据中如何建立有效的非监督模型去发现异常。非监督的框架在现实世界中更加有效，因为数据的标签很难有效得到。总之，这类问题有3个挑战：

• 噪声：任何系统都存在噪声，当然噪声有不同的表现形式。正因为噪声的存在，使得某些正常数据看似异常，给该类问题带来挑战。
• 时间相干性：由于存在很强的上下文关系，因此异常检测会面临相关性挑战。另外，序列数据一般会随着时间不断演变进化；更有甚者，异常/正常也会随着时间演变。比如，心脏跳动信号，平稳中出现跳动，跳动中突然平稳。
• 数据维度：比如在视频监控中，我们面临的数据是高维的。设计的模型一方面能应对这种高维数据，一方面得有时间复杂度的把控。

下面介绍3篇文献，学习他们的建模方法。其中，一篇基于传统的类似混合动态纹理模型，另两篇基于比较火的RNN和LSTM模型。
第一篇文献是国内中山大学在视觉领域-前景检测方面的研究成果，Complex background subtraction by pursuing dynamic spatio-temporal models。总的来说，提出的方法最核心的思想即是在一个定义的隐空间中考虑时间相干性；并提出了模型在在线检测中的更新机制。我们具体看一下建模过程：
$V=\{v_1,v_2,\cdots,v_n\}$表示在$n$个连续帧中相同位置处的数据，其中$v_i \in R^m$表示在第$i$帧的当前位置处提取的特征向量。该特征向量是在以该位置为中心的小立方体(比如$3 \times 3 \times 5$ pixels)中提取类似于local ternary patterns (LTP)的特征。在这个特征向量空间中，作者采用了一组正交基$C\in R^{m\times d}$来表示其中的点，并刻画序列数据的一致性：

$$v_i=C z_i + w_i$$
其中 $z_i$为系数， $w_i$为误差项。在系数层这个隐空间中，作者采用了矩阵 $A\in R^{d\times d}$来表征数据的动态性，并刻画序列数据的时间相干性：