Datawhale组队学习21期_异常检测_Task1：异常检测介绍

1.什么是异常检测？

异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。

异常的类别

点异常：指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标；

上下文异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易；

群体异常：指的是在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，例如社交网络中虚假账号形成的集合作为群体异常子集，但子集中的个体节点可能与真实账号一样正常。

异常检测任务分类

有监督：训练集的正例和反例均有标签

无监督：训练集无标签

半监督：在训练集中只有单一类别（正常实例）的实例，没有异常实例参与训练

2.异常检测的具体应用

识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针对的是少数的事件。

3.异常检测的工具概览

4.异常检测算法与主流模型介绍

传统方法

基于统计学的方法

线性模型

基于相似度的方法

集成方法

孤立森林

机器学习

模型详细讲解 https://www.bilibili.com/video/BV1tV411b7Ck

5.如何选择模型和调参？

检测相关的资源汇总（书籍，讲座，代码，数据等）

链接：https://github.com/yzhao062/anomaly-detection-resources

练习：学习pyod库基本操作

（如何生成toy example，了解训练以及预测的api）

https://pyod.readthedocs.io/en/latest/ （Pyod库官网）

Datawhale：

Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。