qsx123432的博客

HBOS算法进行异常检测理论部分定义：这是一种基于多维度数据各个维度的独立性假设，对于单个数据维度，先进行数据直方图。对分类数据统计每个值的频数并计算相对频率。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。作用：为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。适用场景：半监督学习的异常检测分类：静态宽度直方图

第零步 ： 明确任务多元异常值检测（多元， 异常值检测）可视化定性分析定量分析与异常值处理完成所有工作之后，进行了回溯，对上一步进行优化：一. 明确一个大概：明确是哪个方向的任务（有监督 / 无监督 / 半监督）明确是什么样的任务（分类 / 回归）大方向是什么（ 预测 / 优化 ）二. 任务的初步探索数据层1.1 定性方面1.2 定量方面特征层2.1 定性方面2.2 定量方面模型层：3.1 模型选取3.2 训练、验证及参数调整策略3.3 优化方法与融合方式

可视化观察是否有异常值import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata = np.random.randn(1000) + 10s = pd.DataFrame(data=data, columns=["value"])# 绘制散点图fig = plt.figure(figsize = (10,6))ax1 = fig.add_subplot(3,1,1) # 创建子图 1ax1.scat