时序数据异常检测
NOtargetSaltyfish
凡事预则立,不预则废
展开
-
异常检测算法介绍-LOF(Local Outlier Factor)局部异常因子算法、CBLOF及KNN算法
局部因子算法的思想是通过计算一个样本的局部密度来判断该样本是否是一个异常点,如果该样本的密度比它的邻域内点的密度低,那么就认为它是一个异常点。1、K距离和K距离近邻:该点到距离它第K近的点的距离(不包括该点本身),称为该点的K距离,K距离内的所有点称为该点的K距离近邻,其中K是一个参数,人为给定的。2、可达距离:给定一个K之后,如果一个点是它的K距离近邻,那么它们之间的距离就是K距离,如果不是它的K近邻点,那么它们之间的距离就是他们之间的欧几里得距离。换言之,可达距离是K距离与实际距离之间的最大值,原创 2020-09-06 10:39:47 · 1541 阅读 · 0 评论 -
GAN在时序数据异常检测中的应用
1、MAD-GAN2、VAE-GAN原创 2020-08-16 21:48:09 · 1148 阅读 · 0 评论 -
VAE与GAN做异常检测的原理
近几年,有大量的人用VAE和GAN来做异常检测,用这两个模型做异常检测的假设都是一样的,即假定正常数据是服从某一种分布的,而异常数据是不能够拟合进这个分布的,因此我们可以用VAE和GAN来找到正常数据的分布,从而用这个分布来做异常检测。1、VAEVAE是变分自编码器的简称,该模型最开始提出的目的是为了找到训练数据的分布,从而用这个分布来生成数据。从另一个角度而言,如果我们能够找到正常数据的分布,那么我们就可以用这个分布来做异常检测。具体来说,我们在训练数据上训练好一个VAE,该VAE的encoder原创 2020-08-12 22:19:53 · 4242 阅读 · 1 评论 -
极值理论在时序数据异常检测中的应用
极值理论在时序数据异常检测中的应用极值理论是用来对极值的分布进行建模的工具,该理论专注于尾部数据,即对数据的分布的尾部进行建模,尾部数据由于其数据量少,从而中心极限定理在这里不再适用。一般来说,极值理论可分为两部分:一部分是Block Maxima Method,服从广义极值分布、另一部分是Peaks-over-threshold 方法,简称POT,服从广义帕累托分布。这两种部分的不同点在于Block Maxima method描述的是某段时间内最大值的分布、而POT方法描述的是超过阈值的值的分布,在时原创 2020-08-05 21:06:16 · 2994 阅读 · 0 评论