算法设计与分析_集成透镜：基于集成的异常检测算法的视觉探索

论文阅读：EnsembleLens: Ensemble-based Visual Exploration of Anomaly Detection Algorithms with Multidimensional Data(VAST'18)

目标：对给定数据集正确地评估、比较和选择现有的方法。引入集成分析，生成更有效的检测结果，枚举现有算法进一步开发。异常综合选择并结合异构异常检测结果，得到一组更加稳健的异常点集，而不是“全部真实”的某些方面，从而评价异常检测算法的性能

现有系统的问题：异常点的严格定义通常不存在。用于训练异常检测估计模型的高质量标记数通常不可用或耗时的。

挑战：

1）比较，设计可伸缩可视化系统来比较基于多个标准和原始数据上下文的多个集成组件时存在困难。集成组件定义为一个算法/检测器生成的一个异常检测模型，该模型具有特定的参数设置和数据的采样特征子空间

2）解释：缺乏通过展示算法选择与集成结果之间的关系，以及集成组件本身的两两相关关系，直观表现模型行为或揭示结果背后的语义设计

3）交互：尚未解决支持集成调查、融入人类判断和反馈、迭代引导系统更好地评估异常检测算法的需求。

设计方案：

采用基于集成分析的集成模型来构建算法评估的无监督过程。该模型融合多种基线检测算法、特征bagging和集成组合函数。集成分析系统中提供多个协调视图，直观表示来自不同集成组件的分析结果，支持包括摘要、推理、评估和相关分析在内的分析任务。 利用分析（宏观-中观-微观）探测技术，显示不同尺度、不同语义的异常集合，是实现基于传感器的异常探测器分析的主要途径。通过丰富的交互，集成与协调的视图紧密相连，有助于理解结果与用于选择异常检测器和特征之间的关系。

贡献：

1、系统：集成的可视化分析系统。利用集成分析的多维数据，在用户指导下对异常检测算法进行评估。将异常检测器之间的相关性可视化，并通过在优化集成中的权重说明检测器的重要性

2、互动探索：交互式集成方法，通过算法设置、特征包和集成组合三个步骤支持异常集成的构建。便于基于异常集合的异常检测算法的探索，实现层次分析（宏观-中观-微观）可视化分析方法，提供基于用户反馈的不同检测算法的细粒度评估

3、可视化设计：一套可视化设计和布局算法，有效地总结和评估各种异常检测器生成的集成组件。矩阵视图，用带自定义的符号显示每队集成组件之间的相关性；可伸缩的排序列表视图，带“条形码”隐喻，用于比较不同集成组件的详细异常得分

System overview and data processing pipeline.

相关工作：

1）异常检测算法：基于分类、基于邻居或距离，基于统计，基于张力；

2）多维数据问题：多维尺度MDS，主成分分析PCA，紧矩阵分解CMD

3）异常集合体

集成异常检测：

Anomaly ensemble pipeline: (1) feature selection, (2) algorithm enumeration, (3) ensemble generation, and (4) ensemble combination.

1）feature bagging构造多维数据的特征子空间

random feature bagging：随机选择特征维数。当特征高度相关时，算法性能下降

non-random feature bagging：计算特征对之间的相关性，生成特征Fp，去除相关性最大特征；选择top-l特征，按照拉普拉斯分数排序；对随机子空间Fr采样，是特征子空间覆盖率和多样性最大化；得到Fp和Fr结合的非冗余特征Fnr。存在偏置特征退化的问题。

rotated bagging

2）baseline：anomaly detection algorithms

枚举采样特征子空间的基线算法。遵循原则：覆盖典型的异常检测技术；控制整个算法数量

① One-class SVM单类支持向量机

② KNN

③ LOF局部离群因子

④ 基于角度的离群点检测ABOD

⑤ isolation forest

3） 组合算法：组合前异常得分归一化为[0, 1]的加权平均

4）异常总体评价：平均相关性：肯德尔秩

设计任务：

T1、显示集成概述

T2、在多属性上下文中解释异常集合

T3、通过集成方法促进检测器的比较和关联分析

T4、增强集成异常检测的视觉推理能力

T5、允许灵活选择和设置异常探测器

T6、根据人的判断更新评估结果

T7、提供对原始数据的方便访问

用户界面：

系统由6个视图组成，分别是i检测器视图，ii特征子空间视图，iii检查视图（全局检查视图+相关矩阵视图），iv排序视图，v严正视图，vi原始数据表。用户可以标记检测到的异常点，改变a中的检测模式，使用b得到反馈，d实时组合结果可以反映勘探进展情况。c是不同视图的配色方案。