数据挖掘常见算法整理 (国科大 刘莹)

  1. 数据预处理

- 四分位法

 

例子:

3、5、9、11、17、19、35

先计算位置,在通过位置计算对应的数值

Q1:(n+1)*0.25=2

Q2:(n+1)*0.5=4

Q3:(n+1)*0.75=6

当下标正好为整数时,对应的数值为Q1=5、Q2=11、Q3=19

13, 15, 16, 16, 19, 20, 20, 21

 

Q1:(n+1)*0.25=2.25

Q2:(n+1)*0.5=4.5

Q3:(n+1)*0.75=6.75

当计算的下标不是整数时,介于第二和第三位之间,但是更靠近第二位。所以第二位数权重占75%,第三位数权重占25%

Q1=(15*0.75+16*0.25)=15.25、Q2=17.5、Q3=(20*0.25+20*0.75)= 20

IQR = Q3-Q1

 

five-number-summary: min Q1 middle Q3 max

 

 

 

处理异常数据的常见方法:bin方法,回归,聚类,人机检查结合

 

 

Bin方法

(a)

Bin1 5,10,11,13 mean:9.75

Bin2 15,15,15,55 mean:25

Bin3 60,60,65,65 mean:62.5

(b)

Bin1 5,13,13,13

Bin2 15,15,15,55

Bin3 60,60,65,65

(c) W = (B-A)/N = (65-5)/3 = 20

Bin1: 5,10,11,13,15,15,15 mean:12

Bin2: NULL

Bin3: 55,60,60,65,65 mean:61

Normalization归一化

  1. (a) 0 0.125 0.25 0.5 1

(b) 200-500/316.2 300-500/316.2 400-500/316.2 600-500/316.2 1000-500/316.2

 

数据相关系分析-皮尔逊系数

  1. 数据仓库

 

 

钻取(Drill-down) 使统计维度降到更细的层级,如下图时间维度从“季度”降到了“月份”层级,能降到多细要看底层数据有多细;

上卷(Roll-up) 则是反过程,“浙江”、“上海”、“江苏”的数据被汇总到了“江浙沪” 地区层级;

切片(Slice) 的过程则非常直观,三层cube被切出了一层。意思是在某些维度为定值时,在其他维度上观察数据。如图,确定商品种类为"电子产品", 从"时间"、“地点”上做观察统计;

切块(Dice) 类似于切片,不同点在于固定维度由定值变为范围值;

ppt例题

BitMAp

 

决策树   

ID3

 

C4.5

GINI index

决策树评价
1.相对快
2.可以转换为简单易懂的规则
3.准确度相对较好
4.可扩展性较好,可扩展性:不同的分⽀计算互相独⽴互不影响,所以可以把任务分配给不同的机器上,保持时间的稳定
决策树的优化
1.允许连续值属性:动态定义新的离散值属性,该属性将连续属性值划分为离散的间隔集

2. 处理缺失值,基于已有的属性创建新属性

决策树过拟合处理方法:

提前剪枝:尽早停止构建树-如果会导致优度度量值低于阈值,就不要拆分节点;但是很难确定阈值
后剪枝:从“完全生长”的树上移除树枝-得到一系列逐渐修剪的树,就是把节点一个个去掉看评估结果;使用一个和训练集不同的集合来决定哪个是最好的剪枝

朴素贝叶斯:

贝叶斯优点
容易实现
结果一般较好
缺点:
假设属性独立,因此损失精度
实际上,变量之间确实存在依赖关系,但是朴素贝叶斯无法对其建模
解决这些依赖:
贝叶斯信念网络

Confusion Matrix

 

Cluster

 

K-means

优点:

1、简单,运算速度快,聚类效果较优

2、可解释性强

3、需要调节的参数少,仅 k 值

缺点:

1、k 值难以把握

2、非凸的数据集比较难收敛

3、数据不均衡会影响聚类效果

4、可能会得到局部最优解

5、异常值、噪音敏感

K-medioids

优点:当存在噪音和孤立点时, K-medoids 比 K-means 更健壮。
缺点:K-medoids 对于小数据集工作得很好, 但不能很好地用于大数据集,计算质心的步骤时间复杂度是O(n^2),运行速度较慢

CURE

优点:

1)可以发现复杂空间的簇

2)受噪点影响小

缺点:

1)参数较多,包括采样的大小、聚类的个数、收缩的比例等;

2) 抽样有误差;

3)难以发现形状非常复杂的空间簇(如中空形状),对空间数据密度差异敏感

4)虽然 CURE 聚类是针对大规模数据库设计的算法,但是当数据量剧增时,效率仍然不能满足需求

 

BIRCH(层次聚类)

优点:

1) 节约内存,所有的样本都在磁盘上,CF Tree仅仅存了CF节点和对应的指针。
2) 聚类速度快,只需要一遍扫描训练集就可以建立CF Tree,CF Tree的增删改都很快。
3) 可以识别噪音点,还可以对数据集进行初步分类的预处理
4) 可以不用输入类别数K值。如果不输入K值,则最后的CF元组的组数即为最终的K,否则会按照输入的K值对CF元组按距离大小进行合并。

缺点:

1) 由于CF Tree对每个节点的CF个数有限制,导致聚类的结果可能和真实的类别分布不同,一个CF数节点并不总是对应于用户所考虑的一个自然簇
2) 对高维特征的数据聚类效果不好。此时可以选择Mini Batch K-Means
3) 因为其使用半径或者直径的概念来定义簇的边界,所以如果数据集的分布簇不是类似于超球体,或者说不是凸的,则聚类效果不好。
4) BIRCH适合于处理需要数十上百小时聚类的数据,但在整个过程中算法一旦中断,一切必须从头再来。

DBSCAN

优点:

1、不需要指定簇的个数

2、对噪音不敏感,可以在聚类的同时发现异常点

3、初始值对算法无影响

 

缺点:

  1. 如果样本集的密度不均匀、聚类间距差相差很大时,聚类质量较差,这时用DBSCAN聚类一般不适合。
    2) 如果样本集较大时,聚类收敛时间较长,此时可以对搜索最近邻时建立的KD树或者球树进行规模限制来改进。
    3) 调参相对于传统的K-Means之类的聚类算法稍复杂,主要需要对 (ε,MinPts) 联合调参,不同的参数组合对最后的聚类效果有较大影响。

 

 

 

 

 

异常点检测方法:

 

 

e

 

关联规则

fp-growth对比Apriori
FP-Growth的效率比Apriori高,尤其是最小支持度比较低的时候。
相比Apriori方法,FP-Growth通过记录树结构,根据到目前为止获得的频繁模式分解挖掘任务和数据库,同时,没有像Apriori那样产生候选子集,也不用去测试候选集是否满足最小支持度。
关键的是,在扫描数据库方面,FP-Growth只需要扫描数据库两次,降低了运行时间。
最后,FP-Growth是计算本地频繁项集并以此构建子FP树,无模式搜索和匹配。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页