大数据分析与数据挖掘-3

目录

数据集成与变换

简单变换

简单变换的作用：

box-cox变换​

时间非平稳序列-时间平稳序列（一阶差分）

数据规范化

数据白化

连续属性离散化

属性构造

算法的学习方法

主成分分析

数值规约

---

数据集成与变换

简单变换

对原始数据进行数学函数变换，如：平方、开方、取对数、差分运算等

简单变换的作用：

数据范围的拉伸与压缩（图像对比度提升、年收入）

非正态-正态分布（开发，取对数，

box-cox变换

它包括了平方变换（
），平方根变换(
)，对数变换(

)和倒数变换(
)等常用变换。所以Box-Cox变换是一族变换。Box-Cox变换中参数的估计有两种方法：(1)最大似然估计；（2)Bayes方法。通过求解值，就可以确定具体采用哪种变换形式。关于求解值的详细公式推导，大家可以自行查阅相关资料。

 

用于连续的响应变量不满足正态分布的情况。比如在使用线性回归的时候，由于残差 \epsilon 不符合正态分布而不满足建模的条件，这时候要对响应变量Y进行变换，把数据变成正态的。）

时间非平稳序列-时间平稳序列（一阶差分）

        分析到白噪声就不用分析了。

数据规范化

　　　　1、最大——最小规范化 ：X *=（x-min）/（max-min）

　　　　　　映射到 [0,1] 之间，若数据集中且某个数值太大，则规范化后各值都接近0，且相差不大

　　　　2、零——均值规范化（Z-score标准化）：X*=（x-mean）/ sigma

　　　　　　目前用的最多的数据标准化方法

　　　　3、小数定标规范化：X*=x /（10^k）

　　　　　　通过移动属性值的小数位数，映射到 [-1,1] 之间，移动的小数位数取决于属性值绝对值的最大值

数据白化

PAC白化

连续属性离散化

　　　　一些数据挖掘算法要求数据是分类属性形式，就需要将连续属性转变为分类属性

　　　　1、等宽法：类似于制作频率分布表，将属性的值域划分为相等宽度的区间，区间的个数由数据本身特点决定

　　　　2、等频法：将相同数量的记录放到每个区间

　　　　3、聚类：一维聚类的两个步骤，首先用聚类算法如（K-means算法）进行聚类，然后处理聚类得到的簇。

属性构造

二级指标，体重指数（BMI）=体重/身高的平方，（线损率=供入电量-供出电量）/供入电量

算法的学习方法

1.思想

2.过程步骤（弱）

3.适用场景

主成分分析

原始数据相关性较高，寻找较少的新变量来代替原先众多的变量。新变量（坐标系、基底）要求：尽可能地代表原先变量的信息，且彼此互不相关。

step1.原始数据变量m行n列矩阵（m个样本，每个样本n个变量）。

step2.协方差矩阵，协方差反映相关性。

step3.协方差矩阵对角化，求解特征值

step4.求解特征向量并单位化

step5.确定主成分个数，计算各主成分贡献率

贡献率，累积贡献率，一般规则：,或累积贡献率<85%

新的基底

step6.确定数据在新坐标系下的线性组合

数值规约

抽样，随机抽样，分层抽样，加权抽样