Python数据分析与挖掘实战第五章笔记之离群点检测

#离群点检测：发现与大部分其他对象显著不同的对象
# 离群点成因：数据来源于不同的类，自然变异，数据测量和收集误差
# 离群点类型：
# 1、全局离群点和局部离群点：从整体来看某些对象没有离群特征，但是从局部来看，却显示了一定的离群性。
# 2、数值型离群点和分类型离群点
# 3、一维离群点和多维离群点
# 离群点检测方法：
# 1、基于统计：构建一个分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为离群点，前提是必须知道数据集服从什么分布
# 2、基于近邻度：在数据对象之间定义邻近性度量，把远离大部分点的对象视为离群点
# 3、基于密度：数据集可能存在不同密度区域，离群点是在低密度区域中的对象，一个对象的离群点得分是该对象周围密度的逆
# 4、基于聚类：丢弃远离其他簇的小簇；或者先聚类所有对象，然后评估对象属于簇的程度。
# 基于模型的离群点检测方法：通过估计概率分布的参数来建立一个数据模型。如果一个数据对象不能很好地同该模型拟合，即如果它很可能不服从该分布，则是一个离群点
# 1