数据挖掘——异常检测task2：基于统计学的方法

最新推荐文章于 2023-07-10 09:30:13 发布
最新推荐文章于 2023-07-10 09:30:13 发布
阅读量311 收藏 1
点赞数
分类专栏： 数据挖掘 文章标签： 数据分析 数据挖掘
原文链接：https://blog.csdn.net/qq_42240729/article/details/112519625
版权

异常检测——基于统计学的方法

主要内容：高斯分布、箱线图、HBOS

1、概述

1.1、基于统计学方法的一般思想：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把他们作为异常点

1.2、基于统计学方法的主要类型：参数方法和非参数方法

  • 参数方法：

  • 非参数方法：

2、参数方法

2.1、基于正态分布的一元异常点检测
  • 原始数据->正态分布参数->概率密度函数->阈值->异常点
# 构造数据
import numpy as np
data1 = np.random.randn(5000)*3+2.5
data2 = np.random.randn(5000)*4+3
# data2 = np.random.randint(1,size=(5000))
data = np.r_[data1,data2]

# 基于箱线图可视化数据
'''中位数、上四分之一位数、下四分之一位数'''
import matplotlib.pyplot as plt
import seaborn as sns
sns.boxplot(data=data)

# 求得所构造数据的均值和标准差
data_u = data.mean()
data_sigma = data.std()

# 基于ks检验查看数据是否符合正态分布
from scipy import stats
"""
kstest方法：KS检验，参数分别是：待检验的数据，检验方法（这里设置成norm正态分布），均值与标准差
结果返回两个值：statistic → D值，pvalue → P值
p值大于0.05，为正态分布
H0:样本符合  
H1:样本不符合 
如何p>0.05接受H0 ,反之 
"""
ks_result = stats.kstest(data,'norm',(data_u,data_sigma))
if ks_result[1]>0.05: # pvalue
    print('构造的数据data符合正态分布')
else:
    print('构造的数据data不符合正态分布')

# 基于阈值通过概率密度函数找到异常点
import math

def norm_density(x,u,std):
    norm_den_res = 1/(std*pow(2*math.pi,0.5))*np.exp(-(x-u)**2/(2*std**2))
    return norm_den_res

data_abnormal=[]
for data_value in data:
    if norm_density(data_value,data_u,data_sigma)<10**(-4):
        data_abnormal.append(data_value)
print('数据集中的异常值为:'+ str(data_abnormal))

构造的数据data符合正态分布
数据集中的异常值为:[-11.46365186764682, 16.416823416708013, 16.327736773836584, 16.308623544015518, 17.745661790920828, -10.685020690566537, 16.26914075409187]

在这里插入图片描述

2.2、多元异常点检测

1、各个维度的特征之间相互独立：一元高斯分布

  • 核心思想：将多元异常点检测任务转化为一元异常点检测任务

2、各个维度的特征之家有相关性：多元高斯分布

在这里插入图片描述

2.2.1、独立高斯分布的异常点检测
# 构造数据——二维随机变量
import numpy as np
data1 = np.random.randn(5000)*3+2.5
data2 = np.random.randn(5000)*4+3
# data2 = np.random.randint(1,size=(5000))
data = np.c_[data1,data2]

# 求得所构造数据的均值和标准差
data_u1 = data[:,0].mean()
data_u2 = data[:,1].mean()
data_sigma1 = data[:,0].std()
data_sigma2 = data[:,0].std()

# 基于阈值通过概率密度函数找到异常点
import math

def norm_density(x,u,std):
    norm_den_res = 1/(std*pow(2*math.pi,0.5))*np.exp(-(x-u)**2/(2*std**2))
    return norm_den_res

data_abnormal=[]

for i in range(data.shape[0]):
    if norm_density(data[i,0],data_u1,data_sigma1)*norm_density(data[i,1],data_u2,data_sigma1)<10**(-6):
            data_abnormal.append(data[i,:])
print('数据集中的异常值为:'+ str(data_abnormal))

数据集中的异常值为:[array([  5.22234993, -10.72594557]), array([ 3.29865232, 16.81809963]), array([  1.78894018, -10.44736964]), array([ 6.19805727, 15.6589662 ]), array([  5.44369811, -10.3625621 ]), array([ -2.68441286, -10.14012666])]

对于多维随机变量，将所有维度上的概率密度函数相乘，然后在判断其值是否小于阈值epsilon。若大于或等于于阈值则该点是正常点；若小于阈值则该点是异常点。

2.2.2、多元高斯分布的异常点检测
# 构造数据——二维随机变量
# import numpy as np
# data1 = np.random.randn(5000)*3+2.5
# data2 = np.random.randn(5000)*4+3
# # data2 = np.random.randint(1,size=(5000))
# data = np.c_[data1,data2]

# 求得所构造数据的均值和标准差
data_u1 = data[:,0].mean()
data_u2 = data[:,1].mean()
data_u = [data_u1,data_u2]
for i in range(data.shape[0]):
    data_sigma = data_sigma + np.mat(data[i,:]-data_u).T*np.mat(data[i,:]-data_u)
data_sigma = data_sigma/data.shape[0]

# 基于阈值通过概率密度函数找到异常点
import math

def norm_density(x,dimensional,u,std):
    norm_den_res = 1/(pow(2*math.pi,dimensional/2)*pow(np.linalg.det(std),0.5))*np.exp(-0.5*np.mat(x-u)*np.linalg.inv(std)*np.mat(x-u).T)
    return norm_den_res

data_abnormal=[]

for i in range(data.shape[0]):
    if norm_density(data[i,:],data.shape[1],data_u,data_sigma)<10**(-6):
            data_abnormal.append(data[i,:])
print('数据集中的异常值为:'+ str(data_abnormal))

数据集中的异常值为:[]

可以看到，当将独立高斯分布修改为多元高斯分布后，相同的数据集中不再产生异常值，这是因为多元高斯分布加入了变量之间的相关性信息

2.3、使用混合参数分布

在许多情况下假定数据是由正态分布产生的。当实际数据很复杂时，这种假定过于简单，可以假定数据是被混合参数分布产生的。

3、非参数方法

  • 输入数据->学习“正常”模型（而非先验假设）->适用情况更多
使用直方图检测异常点

1、构造直方图：使用输入数据构造直方图——一元or多元

2、检测异常点：简单方法：（1）对照直方图检查是否落入直方图箱体（2）使用直方图赋予每个对象一个异常点得分

缺点：很难选择合适的箱的尺寸（太小：误识为异常点；太大：假扮为正常点）

# 构造数据——二维随机变量
# import numpy as np
# data1 = np.random.randn(5000)*3+2.5
# data2 = np.random.randn(5000)*4+3
# # data2 = np.random.randint(1,size=(5000))
# data = np.c_[data1,data2]

import matplotlib.pyplot as plt

plt.hist(data)
plt.show()

在这里插入图片描述

4、基于角度的方法

  • 核心思想：数据边界上的数据很可能将整个数据包围在一个较小的角度内，而内部的数据点则可以不同的角度围绕着他们

在这里插入图片描述
在这里插入图片描述

# 导入库函数
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
%matplotlib inline
import matplotlib.font_manager
from pyod.models.abod import ABOD
from pyod.models.knn import KNN

# 创建随机数据集
from pyod.utils.data import generate_data, get_outliers_inliers
## 生成2features的随机数据
X_train, Y_train = generate_data(n_train=200,train_only=True, n_features=2)
## 默认情况下，Generate数据功能中的异常分数为0.1
outlier_fraction = 0.1
## 在不同的numpy阵列中储存outliers和inliers
x_outliers, x_inliers = get_outliers_inliers(X_train,Y_train)
n_inliers = len(x_inliers)
n_outliers = len(x_outliers)
## 分隔2features并使用它来绘制数据
F1 = X_train[:,[0]].reshape(-1,1)
F2 = X_train[:,[1]].reshape(-1,1)
## 创建meshgrid
xx , yy = np.meshgrid(np.linspace(-10, 10, 200), np.linspace(-10, 10, 200))
## 绘制散点图
plt.scatter(F1,F2)
plt.xlabel('F1')
plt.ylabel('F2')

# 创建一个dictionary并添加要用于检测异常值的所有模型：
classifiers = {
'Angle-based Outlier Detector (ABOD)' : ABOD(contamination=outlier_fraction),
'K Nearest Neighbors (KNN)' : KNN(contamination=outlier_fraction)}

# 将数据拟合到我们在dictionary中添加的每个模型，然后，查看每个模型如何检测异常值：
## 设置features的大小
plt.figure(figsize=(10, 10))
for i,(clf_name,clf) in enumerate(classifiers.items()) :
    ## 将数据集适合模型
    clf.fit(X_train)
    ## 预测原始异常分数
    scores_pred = clf.decision_function(X_train)*-1
    ## 预测DataPoint类别outlier或Inlier
    y_pred = clf.predict(X_train)
    ## 预测中没有错误
    n_errors = (y_pred != Y_train).sum()
    print('No of Errors : ',clf_name,n_errors)

# 创建可视化
## 数据点为正常值还是异常值的阈值
threshold = stats.scoreatpercentile(scores_pred,100 *outlier_fraction)
## 决策功能计算每个点的原始异常分数
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()]) * -1
Z = Z.reshape(xx.shape)
subplot = plt.subplot(1,2,i+1)
## 将蓝色ColorMAP从最小异常分数填充到阈值
subplot.contourf(xx, yy, Z, levels = np.linspace(Z.min(), threshold, 10),cmap=plt.cm.Blues_r)
## 绘制红轮廓线，其中异常分数等于阈值
a = subplot.contour(xx, yy, Z, levels=[threshold],linewidths=2, colors='red')
## 填充橙色轮廓线，其中异常分数范围从阈值到最大的异常分数
subplot.contourf(xx, yy, Z, levels=[threshold, Z.max()],colors='orange')
## 用白色点散布inliers
b = subplot.scatter(X_train[:-n_outliers, 0], X_train[:-n_outliers, 1], c='white',s=20, edgecolor='k')
## 用黑色点散布outliers
c = subplot.scatter(X_train[-n_outliers:, 0], X_train[-n_outliers:, 1], c='black',s=20, edgecolor='k')
subplot.axis('tight')
subplot.legend([a.collections[0], b, c],['learned decision function', 'true inliers', 'true outliers'],
prop=matplotlib.font_manager.FontProperties(size=10),loc='lower right')
subplot.set_title(clf_name)
subplot.set_xlim((-10, 10))
subplot.set_ylim((-10, 10))
plt.show()

No of Errors :  Angle-based Outlier Detector (ABOD) 7
No of Errors :  K Nearest Neighbors (KNN) 1

在这里插入图片描述

在这里插入图片描述

5、HBOS

单变量方法的组合，不能对特征之间的依赖关系进行建模，但计算速度快，对大数据集友好

  • 基本假设：数据集的每个维度相互独立，对每个维度进行bin(区间)划分，区间密度越高，异常评分越低

  • 算法流程：

1、为每个数据维度做出数据直方图，对分类数据统计每个值的频数并计算相对频率。对数值数据根据分布的不同采用以下两种方法：

i）静态宽度直方图：标准的直方图构建方法，在值范围内使用k个等宽箱。样本落入每个桶的频率（相对数量）作为密度（箱子高度）的估计。时间复杂度：O(n)

ii）动态宽度直方图：首先对所有值进行排序，然后固定数量的N/k个连续值装进一个箱里，其中N是总实例数，k是箱个数；直方图中的箱面积表示实例数。因为箱的宽度是由箱中第一个值和最后一个值决定的，所有箱的面积都一样，因此每一个箱的高度都是可计算的。这意味着跨度大的箱的高度低，即密度小，只有一种情况例外，超过k个数相等，此时允许在同一个箱里超过N/k值。时间复杂度：O(n×log(n))

2、对每个维度计算独立直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保了每个特征与异常值得分的权重相等），对直方图进行归一化处理。最后，每一个实例的HBOS值由以下公式计算：

在这里插入图片描述

# 生成toy example
from pyod.utils.data import generate_data,evaluate_print
contamination = 0.1  # percentage of outliers
n_train = 200  # number of training points
n_test = 100  # number of testing points

X_train, y_train, X_test, y_test = generate_data(
   n_train=n_train, n_test=n_test, contamination=contamination)

# 拟合模型
from pyod.models import hbos
from pyod.utils.example import visualize 

clf = hbos.HBOS()
clf.fit(X_train)
y_train_pred = clf.labels_
y_train_socres = clf.decision_scores_
y_test_pred = clf.predict(X_test)  # 返回未知数据上的分类标签 (0: 正常值, 1: 异常值)
y_test_scores = clf.decision_function(X_test)  #  返回未知数据上的异常值 (分值越大越异常)

# 可视化
clf_name = 'HBOS'
print("\nOn Test Data:")
evaluate_print(clf_name, y_test, y_test_scores)
visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,y_test_pred, show_figure=True, save_figure=False)

On Test Data:
HBOS ROC:0.9667, precision @ rank n:0.7

在这里插入图片描述

5、总结

1.异常检测的统计学方法由数据学习模型，以区别正常的数据对象和异常点。使用统计学方法的一个优点是，异常检测可以是统计上无可非议的。当然，仅当对数据所做的统计假定满足实际约束时才为真。

2.HBOS在全局异常检测问题上表现良好，但不能检测局部异常值。但是HBOS比标准算法快得多，尤其是在大数据集上。

参考：
多元高斯分布异常点检测
OCSVW和混合高斯分布
异常检测算法演变
异常检测的N种方法
异常检测——ABOD
异常检测——HBOS
异常检测代码详解

呆子，何必
关注
专栏目录
数据挖掘实践（金融风控）：金融风控之贷款违约预测挑战赛（上篇）[xgboots/lightgbm/Catboost等模型]--模型融合：stacking、blending
丨汀、的博客
05-17 959
赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。赛题以预测金融风险为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。
从小蝌蚪找妈妈谈“机器学习VS数据挖掘”
白马负金羁
04-29 4474
机器学习VS数据挖掘——雾里看花是否能清清楚楚，明明白白？大家都热衷于机器学习、数据挖掘这么时髦的名词时，会否认为基于统计学的数据分析技术已经过时？从小蝌蚪找妈妈这个故事里能否都出关于机器学习的些许启示？现在五花八门，名字听起来很吓人的各种模型是否真的能够拯救我们的数据危机？
异常检测——基于统计学的方法
疯子书生的博客
01-12 1260
异常检测——基于统计学的方法 主要内容： 高斯分布 箱线图 文章目录异常检测——基于统计学的方法1、概述2、参数方法2.1 基于正态分布的一元异常点检测2.2 多元异常点检测2.2 多个特征相关，且符合多元高斯分布2.3.使用混合参数分布3、非参数方法4、HBOS5、总结6、练习参考资料 1、概述 统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。 异常检测的统计学方法的一般
2021-01-14基于统计学的方法
weixin_46870583的博客
01-14 427
异常检测 Task2：基于统计学的方法 根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法。
Anomaly Detection——Methods Based on Statistics
weixin_42032907的博客
01-16 204
异常检测——基于统计学的方法1. 概述2. 参数方法2.1 基于正态分布的一元异常点检测2.2 多元异常点检测多个特征相关，且符合多元高斯分布使用混合参数分布3. 非参数方法4. HBOS5. 总结6. 练习关于Datawhale 1. 概述 统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。 异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概
异常检测--基于统计学的方法
qq_39768856的博客
05-14 298
HOBS HBOS全名为：Histogram-based Outlier Score。它是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。其基本假设是数据集的每个维度相互独立。然后对每个维度进行区间(bin)划分，区间的密度越高，异常评分越低。 HBOS算法流程： 1.为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。对数值数据根据分布的不同采用以下两种方法： 静态宽度直方图：标准的直方图构建方法，在值范围内使用k个等宽箱。样本落入每个桶的频率
基于统计学习的方法做异常检测
weixin_43760440的博客
05-13 435
1.基础理论 假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。 2.参数方法 参数方法假定正常的数据对象被一个以Θ为参数的参数分布产生。该参数分布的概率密度函数f(x,Θ)给出对象x被该分布产生的概率。该值越小，x越可能是异常点。 2.1基于正态分布的一元异常点检测 得到数据后，假设数据服从正态分布，x(i)∼N(μ,σ2) 计算出正态分布的各个参数值： μ=∑i=1mx(i)m{μ= \frac{\sum_{i=1}^mx^(i)}{m}}μ=m∑i=1m​x(i)​ ...
【数据挖掘】《数据分析与数据挖掘》--天津大学公开课
浪里小飞侠的博客
10-09 6614
天津大学《数据分析与数据挖掘》公开课–学习笔记 1.1 数据分析与数据挖掘 数据分析是指采用适当的统计分析方法对收集到的数据进行分析、概括和总结，对数据进行恰当的描述，提取出有用的信息的过程。对决策进行辅助，提供数据的根据，利用表格和列表进行展示。 数据挖掘是指在大量的数据中进行挖掘知识。 1.1.2 知识发现（KDD）的过程 图片 1.1.3 区别 图片 1.1.4 联系 图片 1.2 分析和挖掘的数据类型 1.2.1 数据库数据 关系数据库 SQL 数据库 比较流行的有：MySQL, Oracle, S
数据分析入门task5
qq_29120119的博客
12-23 1544
本记录为本人参加datawhale数据分析（泰坦尼克号任务项目）学习笔记，不足之处多多指教。 经过前面的两章的知识点的学习，我可以对数数据的本身进行处理，比如数据本身的增删查补，还可以做必要的清洗工作。那么下面我们就要开始使用我们前面处理好的数据了。这一章我们要做的就是使用数据，我们做数据分析的目的也就是，运用我们的数据以及结合我的业务来得到某些我们需要知道的结果。那么分析的第一步就是建模，搭建一个预测模型或者其他模型；我们从这个模型的到结果之后，我们要分析我的模型是不是足够的可靠，那我就需要评估这个模型。
零基础数据挖掘入门-二手车价格预测
weixin_43702053的博客
03-28 529
零基础数据挖掘入门-二手车价格预测part（二）：特征工程 文章目录零基础数据挖掘入门-二手车价格预测part（二）：特征工程一、特征工程概述二、特征构建三、特征提取四、特征选择五、总结 一、特征工程概述 “数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使...
异常检测（2）—基于统计学的方法
Mrs.King的博客
01-13 758
1.基于统计学的方法: 概念：假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。即，利用统计学方法建立一个模型，然后考虑数据点有多大概率符合这个模型。概率越小，为异常点的可能性越大。 参数方法:假定数据符合某一参数的分布，该分布的概率密度给出f(x,θ)f(x,\theta)f(x,θ),将数据点带入到概率密度公式，得出该数据点符合该分布的概率，概率越小，越不符合该分布，是异常点的可能性就越大。 example：假定输入数据集,数据集中的样本符合正态分布 ，根据样本数据可以求出参数 参数一
基于统计学方法的异常检测
weixin_43525495的博客
05-14 1242
一、概述 在异常值检测中，统计建模的一种流行形式是检测极端单变量值。在这种情况下，需要确定单变量分布尾部的数据值，以及相应的统计显著水平。这似乎是一种相当有限制的情况，因为大多数多维异常值并不对应于数据值的极端值。相反，异常值通常由数据值之间的相对位置定义。虽然极端单变量值对应的是一种非常特殊的离群值，但除了单变量情况外，它们还有许多应用。这是因为几乎所有的离群点检测算法都执行某种数值评分，以测量数据点的异常程度。 二、极值分析的统计方法 极值分析的统计方法量化了分布尾部的概率。尾部的概率值很低，表明它内部
基于统计学知识的异常检测方法
SallyR_fighting的博客
05-14 304
以下给出一些方法的例子： 基于正态分布的一元异常点检测： 利用箱线图对数据分布做一个简单的统计可视化，利用数据集的上下四分位数（Q1和Q3）、中点等形成。异常点常被定义为小于Q1－1.5IQR或大于Q3+1.5IQR的那些数据。 参考资料：DataWhale组队学习资料 ...
异常检测Anomaly Detection（二）基于统计的方法
pure95214的博客
05-15 1657
1. 统计方法 1. 统计方法
异常检测——基于统计学的方法—学习笔记
AI_SupplyChain的博客
05-14 782
异常检测——基于统计学的方法1、基于统计学方法的异常检测概述2、参数方法2.1 正态分布中的Z分布（Z-score)3、非参数方法3.1 直方图4、基于角度的方法5、HBOS 1、基于统计学方法的异常检测概述 异常检测的统计学方法的一般思想是：利用给定的已知数据进行构建模型，然后识别该模型低概率区域中的对象，把它们作为异常点。 即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。把可能性低的点，视作异常点。 根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法
【Datawhale第25期组队学习】Task02：基于统计学的异常检测算法
如是我闻__一时__的博客
05-14 590
Task02：基于统计学的异常检测算法 文章目录Task02：基于统计学的异常检测算法0 写在前面1 基于统计学的异常检测算法概述2 参数化方法2.1 基于正态分布的一元异常点检测2.2 基于正态分布的多元异常点检测3 非参数化方法4 基于角度的方法5 HBOS6 总结参考文献 0 写在前面 上篇文章，我们从异常检测的概念、异常检测方法、异常检测应用、异常检测面临的挑战和未来研究方向等方面对异常检测进行了全方位的介绍。 本篇文章，我们将视角回到异常检测算法上来，下面将详细介绍基于统计学的异常检测算法. 1
常用异常检测算法总结与代码实现[统计学方法/K近邻/孤立森林/DBSCAN/LOF/混合高斯GMM/自编码器AutoEncoder等]
最新发布
Together_CZ的博客
07-10 1084
常用异常检测算法总结与代码实现[统计学方法/K近邻/孤立森林/DBSCAN/LOF/混合高斯GMM/自编码器AutoEncoder等]
chapter02 基于统计的方法
qq_37337494的博客
05-15 514
chapter02 基于统计的方法 1.概述 统计方法对数据正常性数据作出假设。假设正常数据由统计模型产生，不遵守该模型的是异常数据。统计方法的有效性高度依赖于 给定的数据所做的统计模型假设是否成立。 思想：学习一个拟合给定数据的 生成模型 ,识别该模型低概率区间的对象，将他们作为异常点。 根据如何指定和学习模型，基于统计的异常检测方法可以划分为 参数方法 和非参数方法。 参数方法：假定正常数据由符合参数的分布产生，该参数分布的概率密度函数f(x,θ)给出对象x被该分布产生的概率。值越小，越.
数据科学中的异常检测技术概述
qq_54037316的博客
05-01 632
本文对数据科学中的异常检测技术进行了概述，分析了基于统计学、机器学习和深度学习的方法及其优缺点。异常检测技术在金融、互联网安全、工业生产和医疗等领域都有广泛应用。随着技术的发展，异常检测方法不断进步，应用领域越来越广泛。异常检测 数据科学 机器学习 深度学习 统计学 应用场景
数据挖掘Task2：深入EDA数据分析
"DataWhale数据挖掘学习任务2主要涵盖了数据加载、数据概况查看、缺失值、异常值和重复值的检测，以及预测值分布、数据特征分析等多个方面，旨在进行深入的数据探索分析(EDA)。这个任务适用于大数据和数据分析的学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值