1.什么是异常检测?
异常检测(Outlier Detection),顾名思义,是识别与正常数据不同的数据,与预期行为差异大的数据。
异常的类别
点异常:指的是少数个体实例是异常的,大多数个体实例是正常的,例如正常人与病人的健康指标;
上下文异常:又称上下文异常,指的是在特定情境下个体实例是异常的,在其他情境下都是正常的,例如在特定时间下的温度突然上升或下降,在特定场景中的快速信用卡交易;
群体异常:指的是在群体集合中的个体实例出现异常的情况,而该个体实例自身可能不是异常,例如社交网络中虚假账号形成的集合作为群体异常子集,但子集中的个体节点可能与真实账号一样正常。
异常检测任务分类
有监督:训练集的正例和反例均有标签
无监督:训练集无标签
半监督:在训练集中只有单一类别(正常实例)的实例,没有异常实例参与训练
2.异常检测的具体应用
识别如信用卡欺诈,工业生产异常,网络流里的异常(网络侵入)等问题,针对的是少数的事件。
3.异常检测的工具概览
4.异常检测算法与主流模型介绍
传统方法
基于统计学的方法
线性模型
基于相似度的方法
集成方法
孤立森林
机器学习
模型详细讲解 https://www.bilibili.com/video/BV1tV411b7Ck
5.如何选择模型和调参?
检测相关的资源汇总(书籍,讲座,代码,数据等)
链接:https://github.com/yzhao062/anomaly-detection-resources
练习:学习pyod库基本操作
(如何生成toy example,了解训练以及预测的api)
https://pyod.readthedocs.io/en/latest/ (Pyod库官网)
Datawhale:
Datawhale是一个专注于数据科学与AI领域的开源组织,汇集了众多领域院校和知名企业的优秀学习者,聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner,和学习者一起成长”为愿景,鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案,赋能人才培养,助力人才成长,建立起人与人,人与知识,人与企业和人与未来的联结。