HBOS算法-异常检测

背景

在网络安全领域，对异常检测算法的效率要求很高，且输入数据往往非常大，这也是为什么半监督学习的异常检测算法往往采用直方图的原因。如果处理的是高维数据，单维度的直方图很容易计算。大多数直方图相关的算法中，常常固定直方图的宽度或者手动设置宽度。

论文提出了一种基于直方图的无监督异常检测算法-HBOS算法，并且提出了动态宽度的算法以适应不均衡的长尾分布。论文《 Histogram-based Outlier Score (HBOS): A fast Unsupervised Anomaly Detection Algorithm 》下面是论文链接：

https://link.zhihu.com/?target=https%3A//pdfs.semanticscholar.org/5cf8/81d1db19834f123fcfc79ad32097aeafe17f.pdf

HBOS全名为：Histogram-based Outlier Score。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。

HBOS算法流程

1.为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。对数值数据根据分
布的不同采用以下两种方法：

1.1静态宽度直方图：
标准的直方图构建方法，在值范围内使用k个等宽箱。样本落入每个桶的频率（相对数量）作为密度（箱子高度）的估计。
时间复杂度：O(n)

1.2.动态宽度直方图：
首先对所有值进行排序，然后固定数量的个连续值装进一个箱里，其 中N是总实例数，k是箱个数；直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的，所有箱的面积都一样，因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低，即密度小，只有一种情况例外，超过k个数相等，此时允许在同一个箱里超过值。
时间复杂度：O(n*log(n))

2.对每个维度都计算了一个独立的直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保了每个特征与异常值得分的权重相等），对直方图进行归一化处理。最后，每一个实例的HBOS值由以下公式计算：

# 导入相关依赖模块
from pyod.utils.data import evaluate_print,generate_data
from pyod.models.hbos import HBOS
from pyod.utils.example import visualize

# pyod中用于生成toy数据的方法主要是：
# 1、pyod.utils.data.generate_data()
# 2、pyod.utils.data.generate_data_clusters()

# 于是....生成toy example：
contamination = 0.05  # percentage of outliers
n_train = 1000  # number of training points
n_test = 500  # number of testing points
X_train, y_train, X_test, y_test = generate_data(n_train=n_train, n_test=n_test, contamination=contamination)

# 初始化HBOS模型
clf_name = 'HBOS'
clf = HBOS()
clf.fit(X_train)

# get the prediction labels and outlier scores of the training data
y_train_pred = clf.labels_  # binary labels (0: inliers, 1: outliers)
y_train_scores = clf.decision_scores_  # raw outlier scores

# get the prediction on the test data
y_test_pred = clf.predict(X_test)  # outlier labels (0 or 1)
y_test_scores = clf.decision_function(X_test)  # outlier scores

# evaluate and print the results
print("\nOn Training Data:")
evaluate_print(clf_name, y_train, y_train_scores)
print("\nOn Test Data:")
evaluate_print(clf_name, y_test, y_test_scores)

# 可视化展示训练集、测试集异常检测结果
visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,
          y_test_pred, show_figure=False, save_figure=True)

初始化模型的方法中，4个参数分别表示：
1、n_bins：分箱的数量
2、alpha：用于防止边缘溢出的正则项
3、tol：用于设置当数据点落在箱子外时的宽容度
4、contamination：用于设置异常点的比例

根据可视化结果，来调整4个输入参数，直到得出更优参数。

• n_bins设置得过大过小都容易误判。

优缺点：

HBOS在全局异常检测问题上表现良好，但不能检测局部异常值。但是HBOS比标准算法快得多，尤其是在大数据集上。

HBOS 单维效果极佳，但是标准差方法的mask 掩码效应严重。例如 数据 通常在100以内，但是有两个异常点，500，1000000。这个算法就不能检出500这个异常点。
对比而言，孤立森林理论上更适合大数据多维的异常检测，且无掩码效应。

与孤立森林对比：

# coding=utf-8

# 导入相关依赖模块
from pyod.utils.data import evaluate_print,generate_data
from pyod.models.hbos import HBOS
from pyod.utils.example import visualize
from sklearn.ensemble import IsolationForest
import numpy as np

# pyod中用于生成toy数据的方法主要是：
# 1、pyod.utils.data.generate_data()
# 2、pyod.utils.data.generate_data_clusters()
contamination = 0.05  # percentage of outliers
n_train = 1000  # number of training points
n_test = 500  # number of testing points
X_train, y_train, X_test, y_test = generate_data(n_train=n_train, n_test=n_test, contamination=contamination)
outliers_number = len([d for d in y_test if d == 1])
print("outliers_number", outliers_number)

# HBOS
clf_name = 'HBOS'
clf = HBOS(n_bins=10)
clf.fit(X_train)
y_test_pred_hbos = clf.predict(X_test)  # outlier labels (0 or 1)
outliers_hbos = [i for i in range(len(y_test_pred_hbos)) if y_test_pred_hbos[i] != y_test[i]]
print("outliers_hbos: ", outliers_hbos)
print(clf_name, len(outliers_hbos)/outliers_number)
# 错误率：0-0.2

# 孤立森林
rng = np.random.RandomState(42)
clf = IsolationForest(random_state=rng)
clf.fit(X_train)
y_test_pred_forest = clf.predict(X_test)  # outlier labels (0 or 1)
clf_name = "IsolationForest"
y_test_outliers = [i for i in range(len(y_test)) if y_test[i]>0]
outliers_forest = [y_test_pred_forest[i] for i in range(len(y_test_pred_forest)) if y_test_pred_forest[i] <0 and i not in y_test_outliers]
print("outliers_forest: ", outliers_forest)
print(clf_name, len(outliers_forest)/outliers_number)
# 错误率：0.8-1.4

---

参考：

1. https://www.it610.com/article/1360269450086998016.htm
2. https://blog.csdn.net/sirow/article/details/112692357
3. https://zhuanlan.zhihu.com/p/84587517
4. https://blog.csdn.net/ritatype/article/details/112679550