03HBOS算法检测异常值（直方图的推广）

最新推荐文章于 2024-02-14 12:45:55 发布
最新推荐文章于 2024-02-14 12:45:55 发布
阅读量1.7k 收藏 6
点赞数
分类专栏： 异常检测 文章标签： 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qsx123432/article/details/114839297
版权

HBOS算法进行异常检测

理论部分

定义：

这是一种基于多维度数据各个维度的独立性假设，对于单个数据维度，先进行数据直方图。对分类数据统计每个值的频数并计算相对频率。

它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。

作用：

为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。

适用场景：

半监督学习的异常检测

分类：

  1. 静态宽度直方图
  2. 动态宽度直方图
    有关上面两者的说明：
    在这里插入图片描述

使用的操作:

  1. 为每个数据维度做出数据直方图（这里假设是不同维度上的数据之间是相互独立的）， 根据数值特征选择选用哪种图形（静态 / 动态）。

  2. 对每个维度计算一个独立的直方图，其中每个箱子的高度为密度的估计。（每个维度的尺度 = 柱状图的宽 ； 数据的密度 = 桶的高度）

  3. 对各个类型做一下归一化处理，确保每个维度（每个特征）与异常值得分的权重相等（可以使最大高度为1）。

则计算公式为：
在这里插入图片描述

概率密度越大，异常值评分越小

学习代码

下面我们将通过pyod库完成 HBOS 的学习

参考文章：

https://blog.csdn.net/Sirow/article/details/112692357

https://blog.csdn.net/Joyceying1007/article/details/112688879

以上两篇文章是通过 generate_data() 内置函数生成数据集，然后用于异常检测的案例中，但是我们的数据集不是这样的。下面我们先来学习一下 这里的异常检测方法

# 导入相关依赖模块
from pyod.utils.data import evaluate_print,generate_data
from pyod.models.hbos import HBOS
from pyod.utils.example import visualize

# pyod中用于生成toy数据的方法主要是：
# 1、pyod.utils.data.generate_data()
# 2、pyod.utils.data.generate_data_clusters()

# 于是....生成toy example：
contamination = 0.05  # percentage of outliers
n_train = 1000  # number of training points
n_test = 500  # number of testing points
X_train, y_train, X_test, y_test = generate_data(n_train=n_train, n_test=n_test, contamination=contamination, behaviour="old")  ### 生成数据集的函数

# 初始化HBOS模型
clf_name = 'HBOS'
clf = HBOS() 
clf.fit(X_train)

# get the prediction labels and outlier scores of the training data
y_train_pred = clf.labels_  # binary labels (0: inliers, 1: outliers)
y_train_scores = clf.decision_scores_  # raw outlier scores

# get the prediction on the test data
y_test_pred = clf.predict(X_test)  # outlier labels (0 or 1)
y_test_scores = clf.decision_function(X_test)  # outlier scores

# evaluate and print the results
print("\nOn Training Data:")
evaluate_print(clf_name, y_train, y_train_scores)
print("\nOn Test Data:")
evaluate_print(clf_name, y_test, y_test_scores)

# 可视化展示训练集、测试集异常检测结果
visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,
          y_test_pred, show_figure=True, save_figure=False)

# visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,
#           y_test_pred, show_figure=False, save_figure=True)

D:\Anacoder\lib\site-packages\pyod\utils\data.py:185: FutureWarning: behaviour="old" is deprecated and will be removed in version 0.8.0. Please use behaviour="new", which makes the returned datasets in the order of X_train, X_test, y_train, y_test.
  warn('behaviour="old" is deprecated and will be removed '



On Training Data:
HBOS ROC:0.9903, precision @ rank n:0.9167

On Test Data:
HBOS ROC:0.9883, precision @ rank n:0.88

在这里插入图片描述

from __future__ import division
from __future__ import print_function

import os
import sys

# temporary solution for relative imports in case pyod is not installed
# if pyod is installed, no need to use the following line
#sys.path.append(
#    os.path.abspath(os.path.join(os.path.dirname("__file__"), '..')))

from pyod.models.hbos import HBOS
from pyod.utils.data import generate_data
from pyod.utils.data import evaluate_print
from pyod.utils.example import visualize

if __name__ == "__main__":
    contamination = 0.1  # percentage of outliers
    n_train = 200  # number of training points
    n_test = 100  # number of testing points

    # Generate sample data
    X_train, y_train, X_test, y_test = \
        generate_data(n_train=n_train,
                      n_test=n_test,
                      n_features=2,
                      contamination=contamination,
                      random_state=42)

    # train HBOS detector
    clf_name = 'HBOS'
    clf = HBOS()
    clf.fit(X_train)

    # get the prediction labels and outlier scores of the training data
    y_train_pred = clf.labels_  # binary labels (0: inliers, 1: outliers)
    y_train_scores = clf.decision_scores_  # raw outlier scores

    # get the prediction on the test data
    y_test_pred = clf.predict(X_test)  # outlier labels (0 or 1)
    y_test_scores = clf.decision_function(X_test)  # outlier scores

    # evaluate and print the results
    print("\nOn Training Data:")
    evaluate_print(clf_name, y_train, y_train_scores)
    print("\nOn Test Data:")
    evaluate_print(clf_name, y_test, y_test_scores)

    # visualize the results
    visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,
              y_test_pred, show_figure=True, save_figure=False)


D:\Anacoder\lib\site-packages\pyod\utils\data.py:185: FutureWarning: behaviour="old" is deprecated and will be removed in version 0.8.0. Please use behaviour="new", which makes the returned datasets in the order of X_train, X_test, y_train, y_test.
  warn('behaviour="old" is deprecated and will be removed '



On Training Data:
HBOS ROC:0.9947, precision @ rank n:0.8

On Test Data:
HBOS ROC:0.9744, precision @ rank n:0.6

在这里插入图片描述

实战代码

这里将会以 本地数据集 完成异常检测的任务

1. 导入库并完成数据的读取

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt 

import seaborn as sns

path = r"F:/Python_Tensorflow_codes/006group_learning/team-learning-data-mining-master/AnomalyDetection/outlier.txt"
# df_txt1 = pd.read_csv(path, header=None)
# print(df_txt1)

df = pd.read_table(path, sep=" ", header=None)

2. 查看数据并设置类别

# print(df)

### 怎样对现有的列名进行重新设置
# df.set_axis(["a", "b", "c", "d", "e"], inplace=True)
# print(df)

# ### 回答上面的问题：： 直接对df 的列属性 columns 赋值
df.columns = ["a", "b", "c", "d", "e"]
df
abcde
00.0368530.0343900.091979-0.010263-0.008141
1-0.0011520.021750-0.0204010.009866-0.034471
2-0.0125860.0473640.011108-0.011569-0.023341
3-0.0283780.0439800.0012640.0231380.005426
40.0222250.007152-0.037135-0.029387-0.099154
..................
9950.006989-0.0399000.013303-0.0354760.068688
996-0.004276-0.028075-0.000769-0.051646-0.057467
997-0.0005440.059539-0.0128970.032994-0.089494
998-0.0396970.000563-0.0329770.0154410.007677
999-0.0108660.0226040.014564-0.014077-0.025783

1000 rows × 5 columns

type(df["a"])

pandas.core.series.Series

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler(feature_range=(0, 1))
df[df.columns] = scaler.fit_transform(df[df.columns])
df.head()
abcde
00.7052380.7295691.0000000.4803350.479880
10.5101010.6610920.4571520.5862230.341049
20.4513920.7998550.6093580.4734630.399738
30.3703080.7815230.5618040.6560480.551413
40.6301320.5820110.3763180.3797280.000000
X1 = df['a'].values.reshape(-1,1)
X2 = df['b'].values.reshape(-1,1)
X3 = df["c"].values.reshape(-1,1)
X4 = df['d'].values.reshape(-1,1)
X5 = df["e"].values.reshape(-1,1)


X = np.concatenate((X1,X2,X3,X4,X5),axis=1)

## 补充需要的库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

import matplotlib                     ## 这两条语句缺一不可  这里解决了直接书写 matplotlib
from matplotlib import font_manager   ## 用于解决： prop=matplotlib.font_manager.FontProperties(size=20)

# Import models
from pyod.models.abod import ABOD
from pyod.models.cblof import CBLOF
from pyod.models.feature_bagging import FeatureBagging
from pyod.models.hbos import HBOS
from pyod.models.iforest import IForest
from pyod.models.knn import KNN
from pyod.models.lof import LOF


random_state = np.random.RandomState(42)
outliers_fraction = 0.05
# Define seven outlier detection tools to be compared ; 定义要使用的类别
classifiers = {
#         'Angle-based Outlier Detector (ABOD)': ABOD(contamination=outliers_fraction),
#         'Cluster-based Local Outlier Factor (CBLOF)':CBLOF(contamination=outliers_fraction,check_estimator=False, random_state=random_state),
#         'Feature Bagging':FeatureBagging(LOF(n_neighbors=35),contamination=outliers_fraction,check_estimator=False,random_state=random_state),
        'Histogram-base Outlier Detection (HBOS)': HBOS(contamination=outliers_fraction),
#         'Isolation Forest': IForest(contamination=outliers_fraction,random_state=random_state),
#         'K Nearest Neighbors (KNN)': KNN(contamination=outliers_fraction),
#         'Average KNN': KNN(method='mean',contamination=outliers_fraction)
}

### 定义坐标轴线的参数 用的函数是 numpy.meshgrid() 函数
xx , yy = np.meshgrid(np.linspace(0,1 , 200), np.linspace(0, 1, 200))


for i, (clf_name, clf) in enumerate(classifiers.items()):
    clf.fit(X)
    # predict raw anomaly score
    scores_pred = clf.decision_function(X) * -1
        
    # prediction of a datapoint category outlier or inlier
    y_pred = clf.predict(X)
    n_inliers = len(y_pred) - np.count_nonzero(y_pred)
    n_outliers = np.count_nonzero(y_pred == 1)
    plt.figure(figsize=(10, 10))
    
    # copy of dataframe
    dfx = df
    dfx['outlier'] = y_pred.tolist()
    
    # IX1 - inlier feature 1,  IX2 - inlier feature 2
    IX1 =  np.array(dfx['a'][dfx['outlier'] == 0]).reshape(-1,1)
    IX2 =  np.array(dfx['b'][dfx['outlier'] == 0]).reshape(-1,1)
#     IX3 =  np.array(dfx['c'][dfx['outlier'] == 0]).reshape(-1,1)
#     IX4 =  np.array(dfx['d'][dfx['outlier'] == 0]).reshape(-1,1)
#     IX5 =  np.array(dfx['e'][dfx['outlier'] == 0]).reshape(-1,1)


# '''
#     #### 将上面的枚举整理成 for 循环代码：     ### 这种方式显然是不正确的，前边变，后面也变的这种程序使用 for 循环并不是一个好的选择
# #     tuple_ = "abcde"
# #     for i in tuple_:
# #         IX_temp =  np.array(dfx[i][dfx['outlier'] == 0]).reshape(-1,1)
# #         if not (i != "a"):
# #             IX1 = IX_temp
# #         if i == "b":
# #             IX2 = IX_temp
# #         if i == "c":
# #             IX3 = IX_temp    
# #         if i == "d":
# #             IX4 = IX_temp    
# #         if i == "e":
# #             IX5 = IX_temp


# #### 把多个类别放到同一个变量中

# '''

    
    # OX1 - outlier feature 1, OX2 - outlier feature 2
    OX1 =  dfx['a'][dfx['outlier'] == 1].values.reshape(-1,1)
    OX2 =  dfx['b'][dfx['outlier'] == 1].values.reshape(-1,1)
#     OX3 =  dfx['c'][dfx['outlier'] == 1].values.reshape(-1,1)
#     OX4 =  dfx['d'][dfx['outlier'] == 1].values.reshape(-1,1)
#     OX5 =  dfx['e'][dfx['outlier'] == 1].values.reshape(-1,1)
   
         
    print('OUTLIERS : ',n_outliers,'INLIERS : ',n_inliers, clf_name)
        
    # threshold value to consider a datapoint inlier or outlier
    threshold = stats.scoreatpercentile(scores_pred,100 * outliers_fraction)
        
    # decision function calculates the raw anomaly score for every point
    Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()]) * -1
    Z = Z.reshape(xx.shape)
          
    # fill blue map colormap from minimum anomaly score to threshold value
    plt.contourf(xx, yy, Z, levels=np.linspace(Z.min(), threshold, 7),cmap=plt.cm.Blues_r)
        
    # draw red contour line where anomaly score is equal to thresold
    a = plt.contour(xx, yy, Z, levels=[threshold],linewidths=2, colors='red')
        
    # fill orange contour lines where range of anomaly score is from threshold to maximum anomaly score
    plt.contourf(xx, yy, Z, levels=[threshold, Z.max()],colors='orange')
        
    b = plt.scatter(IX1,IX2, c='white',s=20, edgecolor='k')     ### 这里绘制的就是 IX1, IX2之间的关系昂
    
    c = plt.scatter(OX1,OX2, c='black',s=20, edgecolor='k')
       
    plt.axis('tight')  
    
    # loc=2 is used for the top left corner 
    plt.legend(
        [a.collections[0], b,c],
        ['learned decision function', 'inliers','outliers'],
        prop=matplotlib.font_manager.FontProperties(size=20),
        loc=2)
      
    plt.xlim((0, 1))
    plt.ylim((0, 1))
    plt.title(clf_name)
    plt.show()

OUTLIERS :  50 INLIERS :  950 Histogram-base Outlier Detection (HBOS)

在这里插入图片描述

从上面的程序中我们知道，这是绘制的两个类别的数据，要是绘制多类别数据，并且放到同一个坐标系中，那么我们可以参考 sns.scatterplot(参数)

参考文章 ： https://www.cnblogs.com/cgmcoding/p/13475462.html

下面将通过一个列子来展示一下 sns.scatterplot()绘制多类别的数据

import pandas as pd
import seaborn as sns

# index = pd.date_range(start="2000-1-11", periods=100, freq="m", name="date")
index = pd.date_range(start="2020-1-11", periods=100, freq="m", name="date")
#### 注意对比两者的不同，为什么会出现这种情况？？？？ 为什么第二条语句也是从2000年开始绘制


data = np.random.randn(100, 4).cumsum(axis=0)

wide_df = pd.DataFrame(data, index, ["a", "b", "c", "d"])
sns.scatterplot(data=wide_df)
plt.show()
###### 出现图中的这种情况怎么解决？？？？？

在这里插入图片描述

##### --------- 
sns.scatterplot(data=df)    ## 注意这是对整个类别的数据进行的处理，data = df 
### 然而： plt.scatter() 是不同的，这个需要两个参数，x,y,:并且不能通过 DataFarme给出data = df


<matplotlib.axes._subplots.AxesSubplot at 0x2ac885c5310>

在这里插入图片描述

接下来我面临的问题是: 将不同类别的数据，按照列方式进行拼接起来 – 》 pandas 的拼接方法

也就是 ： 各个IXi 共同拼接成 一个 df_IX 中。 df_IX 格式为DataFrame格式 ====> ???

然后把他们OX设置成 index

这样就可以使用 ： sns.scatterplot(data=data, index=index)

附录：

疑问记录：generate_data() ：

Utility function to generate synthesized data.
Normal data is generated by a multivariate Gaussiandistribution and outliers are generated by a uniform distribution.

用法：
X_train, y_train, X_test, y_test = generate_data(n_train=n_train, n_test=n_test, contamination=contamination, behaviour=“old”)

也是说，它是一个产生数据的机器，这个机器可以根据训练集样本数，测试集样本数，和其他参数 ，用来产生 数据集（正常样本符合正态分布，异常点为均匀分步）

那么我们手头上现有一份数据集，df_txt ,也就是不需要用到generate_data() , 我们的任务是：处理现有数据，找出异常值。那么df_txt 本身数据就没有样本标签，那如何划分数据集就成了问题？？？？

这时候我想到了用

from sklearn.model_selection import train_test_split

X_train, y_train, X_test, y_test = train_test_split(df_txt, test_size=0.2)

但是划分出来的数据不知道怎样？？？？结果是 ： 效果不好！！！
那么是不是 train_test_split()的使用方式不对呢？

还是train_test_split适用于有监督？还是无标签的数据集同样适用吗？？？？

train_test_split() 作用：切分数据。

使用方法：

X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)

使用场合：

  1. 切分数据集（将数据切分成 训练集 和 测试集）
  2. 简单交叉验证

监督学习的数据既有特征又有标签，而无监督学习的数据中只有特征而没有标签。？？？？

那么就直接进行训练:

path = r"F:/Python_Tensorflow_codes/006group_learning/team-learning-data-mining-master/AnomalyDetection/outlier.txt"
# df_txt1 = pd.read_csv(path, header=None)
# print(df_txt1)

df = pd.read_table(path, sep=" ", header=None)

clf = HBOS()
clf.fit(df)      ## 因为没有标签，可以直接进行训练操作。 fit() 中的 内容是整个数据集

y_train_pred = clf.labels_  # binary labels (0: inliers, 1: outliers)
y_train_scores = clf.decision_scores_  # raw outlier scores

# print("\nOn Training Data:")
# evaluate_print(clf_name, y_train, y_train_scores)

# print(y_train_pred)
# print(y_train_scores)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UQpJLVIi-1615797336016)(attachment:9043c182-4ec1-4942-81df-4b8bc831a999.png)]

sample() 方法的使用：
小王做笔记
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lstm自动编码器以进行异常检测：使用LSTM自动编码器检测异常并对稀有事件进行分类
02-21
处理未标记的数据时，我们通常会使用“异常值检测”方法，例如，基于聚类的局部离群值因子（CBLOF） ，基于直方图的离群值检测（HBOS）等。而标记的数据被视为“分类”问题和分类器，如和。 但是，由于正数据点在...
异常检测算法之HBOS
Magician的博客
09-07 1588
前言 HBOS（Histogram-based Outlier Score）核心思想：将样本按照特征分成多个区间，样本数少的区间是异常值的概率大。 原理 该方法为每一个样本进行异常评分，评分越高越可能是异常点。评分模型为： 假设样本p第 i 个特征的概率密度为Pi ，则p的概率密度可以计算为（多个特征的概率密度的乘积）： 两边取对数： 概率密度越大，异常评分越小，则两边乘以“-1”： 即： 如何计算概率密度，特别是对于连续型数据？最简单的方法是对连续数据进行离散化。离散化的基本思想是设置“断点”，
HBOS异常检测算法
2301_76529396的博客
07-20 398
论文中提出了基于直方图的无监督异常检测算法-HBOS算法，并且提出了动态宽度的算法以适应不均衡的长尾分布。 论文作者在提出HBOS算法的时候就针对直方图区间长度进行了改进，就是上述的直方图的第二种构建方法。
异常检测系列：Histogram-based Outlier Score_HBOS算法
数智笔记
01-24 1376
在第二步中，我们将异常值分数绘制在直方图中，然后选择一个值，称为阈值，将正常观测值与异常观测值分开。如果一个模型能够有效地识别训练数据中的异常值，那么这些异常值应该表现出异常性的特征。通常情况下，某些观察结果的值在相应的变量方面是异常值，但是某些值是正常的。因为异常值分数已经衡量了数据点与其他数据点的偏差，我们可以按照它们的异常值分数对数据进行排序。那些具有较高异常值分数的数据点可能是异常值。我们可以选择一种更保守的方法，通过选择一个较高的阈值，这将导致异常值组中的异常值更少，但希望更精细。
chapter02 基于统计的方法
qq_37337494的博客
05-15 513
chapter02 基于统计的方法 1.概述 统计方法对数据正常性数据作出假设。假设正常数据由统计模型产生，不遵守该模型的是异常数据。统计方法的有效性高度依赖于 给定的数据所做的统计模型假设是否成立。 思想：学习一个拟合给定数据的 生成模型 ,识别该模型低概率区间的对象，将他们作为异常点。 根据如何指定和学习模型，基于统计的异常检测方法可以划分为 参数方法 和非参数方法。 参数方法：假定正常数据由符合参数的分布产生，该参数分布的概率密度函数f(x,θ)给出对象x被该分布产生的概率。值越小，越.
Anomaly Detection——Methods Based on Statistics
weixin_42032907的博客
01-16 203
异常检测——基于统计学的方法1. 概述2. 参数方法2.1 基于正态分布的一元异常点检测2.2 多元异常点检测多个特征相关，且符合多元高斯分布使用混合参数分布3. 非参数方法4. HBOS5. 总结6. 练习关于Datawhale 1. 概述 统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。 异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概
anomaly-detection-libs:用于异常（异常）检测的简单库
05-10
无监督异常检测库 可用算法： 神经网络 神经网络 LOF（以scikit-learn软件包提供） COF INFLO 环形 LOCI 阿罗西 克洛夫 微博 数码相机 CMGOS HBOS 前列腺癌 CMGOS 一类SVM（可在scikit-learn软件包中获得） @作者...
"望海HBOS固定资产管理系统"资产查询操作指南.doc
06-18
《望海HBOS固定资产管理系统》资产查询操作指南 在企业资产管理中，有效地追踪和管理固定资产是至关重要的。望海HBOS固定资产管理系统就是这样一个工具，它提供了便捷的资产查询功能，帮助用户快速定位并管理资产...
医院信息化建设的思考和经验培训课件.ppt
12-17
5. **健康业务运营系统（HBOS）**：HBOS涵盖了财务管理、人力资源、物资采购等后勤管理功能，帮助医院实现整体运营的精细化管理。 6. **质量管理软件（HQMS）**：这类系统用于监测和改进医疗服务质量，确保符合相关...
20130415-056浅谈医院计算机的管理和维护.pdf
10-04
医院常常需要根据业务需求升级各个子系统，如HIS（医院信息系统）、PACS（图像存档和通信系统）、LIS（实验室信息系统）和HBOS等。软件维护包括改正性维护（修复错误）、适应性维护（适应环境变化）、完善性维护...
Histogram-based Outlier Score (HBOS): A fast Unsupervised Anomaly Detection Algorithm(翻译)
weixin_50556981的博客
01-04 1206
基于直方图的异常值得分（HBOS）：一种快速无监督异常检测算法 原文：https://www.dfki.de/web/forschung/publikationen/renameFileForDownload?filename=HBOS-KI-2012.pdf&file_id=uploads_1716 摘要 在无监督的数据集检测过程中，无需对异常集进行先验训练。本文提出了一种基于历史的离群点检测（HBOS）算法，该算法在线性时间内对记录进行评分。它假设特征的独立性，使得它比多元方法快得多，但代价是精
HBOS算法
Sirow的博客
01-16 1147
背景 在网络安全领域，对异常检测算法的效率要求很高，且输入数据往往非常大，这也是为什么半监督学习的异常检测算法往往采用直方图的原因。如果处理的是高维数据，单维度的直方图很容易计算。大多数直方图相关的算法中，常常固定直方图的宽度或者手动设置宽度。论文提出了一种基于直方图的无监督异常检测算法，并且提出了动态宽度的算法以适应不均衡的长尾分布。 HBOS HBOS算法基于多维数据各个维度的独立性假设，对于单个数据维度，先做出数据直方图。对于categroy 值，统计每个值出现的次数，并计算相对频率。对于数值特征，可
HBOS异常点检测
SeafyLiang的博客
04-13 396
HBOS异常点检测
异常检测Anomaly Detection（二）基于统计的方法
pure95214的博客
05-15 1647
1. 统计方法 1. 统计方法
HBOS——基于频数直方图的无监督异常点检测算法
光怪陆离
04-11 4583
异常点检测是数据挖掘一个重要问题，当前的算法可以简单的分为监督、半监督和无监督的方法。对于存在标签的数据，监督算法是首选（能获得很好的效果），此时异常点检测可以等价于非平衡数据分类问题。但是，实际应用中往往只有正常样本的标签，这时需要无监督方法大显神威。无监督方法也更符合人类的认识行为。比如，一个人从来没有见过斑马，但是在一群马中他也可以很容易辨别出斑马，尽管完全不知道“斑马”是什么物种。 需要...
HBOS算法-异常检测
Rnan_prince的博客
05-15 1705
背景 在网络安全领域，对异常检测算法的效率要求很高，且输入数据往往非常大，这也是为什么半监督学习的异常检测算法往往采用直方图的原因。如果处理的是高维数据，单维度的直方图很容易计算。大多数直方图相关的算法中，常常固定直方图的宽度或者手动设置宽度。 论文提出了一种基于直方图的无监督异常检测算法-HBOS算法，并且提出了动态宽度的算法以适应不均衡的长尾分布。论文《 Histogram-based Outlier Score (HBOS): A fast Unsupervised Anomaly Detecti
异常值检测方法
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
02-14 536
机器学习中常见的10种异常值检测的方法。
2021-05-14
luli_85719的博客
05-15 342
Datawhile_五月：异常检测（TASK02） 异常检测-基于统计学的方法 一、方法概述 异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点，即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。 常用的方法包括：高斯分布的方法、非参数方法、基于角度的方法、HBOS方法； 检测方法特点： （1）异常检测的统计学方法由数据学习模型，以区别正常的数据对象和异常点。使用统计学方法的一个优点是，异常检测可以是统计上无可非议的
异常检测——基于统计学的方法
疯子书生的博客
01-12 1257
异常检测——基于统计学的方法 主要内容： 高斯分布 箱线图 文章目录异常检测——基于统计学的方法1、概述2、参数方法2.1 基于正态分布的一元异常点检测2.2 多元异常点检测2.2 多个特征相关，且符合多元高斯分布2.3.使用混合参数分布3、非参数方法4、HBOS5、总结6、练习参考资料 1、概述 统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。 异常检测的统计学方法的一般
自己创建数据，进行离群点检测
05-17
离群点检测是一种数据挖掘技术，用于识别数据集中的异常值。自己创建数据进行离群点检测的一般流程如下： 1. 创建数据：可以通过随机生成数据或者手动录入数据的方式创建数据集。 2. 数据预处理：对数据进行清洗、归一化等预处理操作，以便后续分析。 3. 确定离群点检测算法：根据数据集的特点选择合适的离群点检测算法。 4. 进行离群点检测：将数据集输入到离群点检测算法中进行分析，得到异常值。 5. 分析异常值：对于检测到的异常值进行分析，确定是真正的异常值还是错误的结果。 常用的离群点检测算法包括基于统计学的方法（如Z-score、箱线图等）、基于聚类的方法（如DBSCAN、LOF等）、基于密度的方法（如KDE、HBOS等）等。在选择算法时需要根据数据集的特点和问题需求进行选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值