为什么需要数据预处理?
数据预处理是数据挖掘中最为艰巨的任务,
真实的数据有噪声、不完整、数据不一致、冗余、其它(数据类型转换、不均衡数 据)。
数据预处理的主要任务?
① 数据清理:填写缺失的值,光滑噪声数据,识别、删除离群点,解决不一致性
② 数据集成:集成多个数据库或文件
③ 数据归约:维规约、数量规约
④ 数据变换和离散化:数据类型转换、标准化
数据清洗
无关数据、冗余属性、缺失数据、异常数据
缺失数据处理和填补方法
忽略、手动填补、模型填补
异常数据:噪声&异常值(测量变量中的随机错误(Noise)或偏差(Outlier)) 如何平滑异常值?
分箱、回归、聚类
类型转换
属性类型
连续型、离散型、序数型、标称型、字符串型等
离散化
离散化是将连续属性转换为有序属性的过程
离散化主要是决定选择多少个分割点以及确定分割点的位置
根据是否使用类信息,离散化方法可分为
无监督离散化:等宽离散化、等频率离散化、 k-均值离散化
有监督离散化
采样
下采样、上采样:相邻点之间的区域随机生成,优点像插值。
边缘采样:数据集非常大,边缘点最有价值;可以节省大量计算资源。
什么是不平衡数据集?
不同类别中样本数比率不平衡,但这些类别中的样本量都是足够多的; 存在某一类或多个类样本量较少(这种情况只能尽量补充该类的样本)
不平衡数据集会产生什么弊端?
会使结果不准确,很高的准确率可能没有意义。
如何规避不平衡数据集的弊端?
可以通过抽样来调整类的分布,也可以定义新的准确率的评价标注
数据规范化(标准化)
有明确上下界: Min-max 标准化
最大-最小是有明确的上下界的
无上下界: Z-score标准化
有些数据是没有明显的上下界的,数据服从高斯分布,是可以无限延伸的
特征选择与提取
如何判断属性的好坏呢?
定性
类别柱状图(离散型属性)、类别分布图(连续型属性)
定量
熵:信息量的数学期望,在信息论中衡量一个系统的不确定性。 (越小越好)
信息增益:当知道额外属性时,对整个系统的不确定性降低了多少。 (越大越好)
思考: 连续型属性如何求熵、信息增益呢?
特征子集选择的方法有那些?
① 穷举
② 分支定界
③ 贪婪算法:最优的K个单独的属性、顺序正向选择、顺序逆向选择
④ 优化算法:模拟退火、遗传算法
两个具有代表性的特征提取方法(降维方法):
无监督的PCA
主要思想?
PCA旨在找到数据中的主成分,并利用这些主成分表征原始数据,从而达到降维的 目的。
如何计算?
两个具有代表性的特征提取方法(降维方法):
无监督的PCA
PCA的优点
① 仅仅需要以方差衡量信息量,不受数据集以外的因素影响
② 各主成分之间正交,可消除原始数据成分间的相互影响的因素
③ 计算方法简单,主要运算是特征值分解,易于实现
PCA的缺点
① 主成分各个特征维度的含义具有一定的模糊性,不如原始样本特征的解释性强
② 方差小的非主成分也可能含有对样本差异的重要信息,因此降维丢弃可能对后 续数据处理有影响
③ PCA属于有损压缩
两个具有代表性的特征提取方法(降维方法):
有监督的LDA
主要思想?
线性判别分析是一种基于有监督学习的降维方式, 将数据集在低维度的空间进行投 影,要使得投影后的同类别的数据点间的距离尽可能的靠近,而不同类别间的数据 点的距离尽可能的远
如何计算?
两个具有代表性的特征提取方法(降维方法):
有监督的LDA
LDA的优点
① 在降维过程中可以使用类别的先验知识经验,而像PCA这样的无监督学习则无 法使用类别先验知识
② LDA在样本分类信息依赖均值而不是方差的时候,比PCA之类的算法较优
LDA的缺点
① LDA不适合对非高斯分布样本进行降维, PCA也有这个问题
② LDA降维最多降到类别数k-1的维数,如果我们降维的维度大于k-1,则不能使 用LDA。
③ LDA在样本分类信息依赖方差而不是均值的时候,降维效果不好
④ LDA可能过度拟合数据
两个具有代表性的特征提取方法(降维方法):
无监督的PCA与有监督的LDA
相同点:
① PCA和LDA都是经典的降维算法;
② PCA和LDA都假设数据是符合高斯分布的;
③ PCA和LDA都利用了矩阵特征分解的思想。
不同点:
① PCA是无监督(训练样本无标签)的, LDA是有监督(训练样本有标签)的;
② PCA是去掉原始数据冗余的维度, LDA是选择一个最佳的投影方向,使得投影 后相同类别的数据分布紧凑,不同类别的数据尽量相互远离。
③ LDA最多可以降到k-1维(k是训练样本的类别数量, k-1是因为最后一维的均值 可以由前面的k-1维的均值表示);
④ LDA可能会过拟合数据。