【李宏毅2020 ML/DL】P67-72 Anomaly Detection

我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

本系列课程第 5 节有缺失，我已找到补充视频，见【 李宏毅机器学习：异常检测 】Anomaly Detection（合辑）（中文）

本节内容综述

1. 概括一下异常检测问题 Problem Formulation 。什么是异常呢？What is Anomaly? 与训练集不是一类的东西。
2. 有什么应用呢？
3. 这不就是二分类问题吗？不是。要注意，对于 Anomaly Detection 问题，其异常集几乎是无穷无尽的。况且，其可能没有异常数据。
4. 异常检测问题的分类Categories。
5. 首先，来讨论第一个类别：With Classifier。
6. 此外，除了设置 Training Set ，还可以设置 Dev Set 。
7. 讨论一个问题：有些特征很强，能被分类器识别。但是对于没有这些特征的异常图片，则很难进行识别。见 Possible Issues 。
8. 进入第二个类别：Without Label 。

小细节

Problem Formulation

• 有训练数据： { x 1 , x 2 , . . . , x N } \{x^1,x^2,...,x^N\} { x1,x2,...,xN}
• 来了一个新数据，判断是否是训练集中的（是否相似）。

从外，不一定是检测出“不好”的东西。

Applications?

Fraud Detection
训练数据：正常刷卡行为；来判断盗刷行为。有 kaggle 比赛。

Network Intrusion Detection
训练数据：正常连线；来判断是否有攻击行为。

Cancer Detection
训练数据：正常细胞；来检测癌细胞等。

Categories