三种概念:
异常检测:有一个和正常样本不同的感兴趣的点,比如网络攻击。
去噪:对数据的干扰,去除不想要的数据。
新奇检测:数据中的新模式,比如说一个团体中出现的新的主题。
一个基本的想法:表示出正常样本的样子,不符合这个规律的就是异常。
存在挑战:
- 完全表示正常样本困难
- 异常伪装为正常的样子
- 正常样本的进化,可能变异常
- 不同领域对异常定义不同
- 数据标签获取难
- 噪声和异常难分
异常分类:
- 点异常:相对于其他点异常
- 上下文异常:时间、空间(经纬度),某一时间点某一位置出现的一个行为可能是正常的,但是下一时间点或者位置出现则可能是异常。
- 集体异常:一段数据出现异常,数据本身无异常,他们集体出现就是异常。
突然出现的一段–集体异常
突然出现的一个–上下文异常
单个异常和集体异常可能转换为上下文异常。