一、高维数据
高维数据泛指高维(multidimensional) 和多变量(multivariate)数据
-- 高维是指数据具有多个独立属性 -- 多变量是指数据具有多个相关属性
高维数据可视化的挑战:
如何呈现单个数据点的各属性的数据值分布,以及比较多个高维数据点之间的属性关系,从而提升高维数据的分类、聚类、关联、异常点检测、属性选择、属性关联分析和属性简化等任务的效率。
说明:
1.聚类:聚类是一种无监督学习的手段,其目的是使相似数据点分布在同一类中,而不同数据点处于不同类中或者噪声中
2.利用关联分析的方法可以发现联系如关联规则或频繁项集。
关联分析需要处理的关键问题:
- 从大型事务数据集中发现模式可能在计算上要付出很高的代价。
- 所发现的某些模式可能是假的,因为它们可能是偶然发生的
高维数据可视化方法分类:
方法之间的比较:
当需要把高维数据以一种可视化的形式展现出来是,则需要对高维数据进行一些处理——降维
2.降维
使用线性或非线性变换把高维数据投影到低高维空间中,去掉冗余属性,同时尽可能地保留高维空间的重要信息和特征
方法分类:
线性方法:主成分分析PCA、多维尺度分析MDS、非矩阵分解NMF,等
非线性方法:等距特征映射ISOMAP、局部线性嵌套LLE,等
2.1主成分分析法(PCA)
详细:(31条消息) 主成分分析(PCA)原理详解_Microstrong-CSDN博客_pca
主成分分析法采用一个线性变换将高维数据变换到一个新的坐标系统中,使得任何数据点投影到第一个坐标(第一主成分)的方差最大,在第二个坐标(第二主成分)的方差为第二大,依次类推。
优点:主成分分析可以减少数据的维数,并保持对方差贡献最大的特征,相当于保留低阶主成分ÿ