数据降维
数据降维研究
身影王座
人生在世,谦字当头;学海无涯,愿得一慧眼,以小观世界。
展开
-
经典线性降维算法—独立成分分析(ICA)
虽然很多时候A矩阵是n*n的,但是如果n取k(k<n),那么该方法就符合线性降维的一般模型,因此它可以看作一种线性降维算法。原创 2021-01-25 10:54:37 · 2530 阅读 · 1 评论 -
经典线性降维算法—线性判别分析
与PCA降维不同,LDA是有监督的降维,它的基本思想就是利用类标信息找到子空间S,将数据映射到S中后,不同类别的数据尽量远离,相同类别的数据尽量接近。与PCA类似,LDA利用方差作为指标来衡量数据在投影方向上的差异程度。 协方差矩阵是一个矩阵,其每个元素是各个向量元素之间的协方差。而协方差描述了向量之间的相关程度。协方差的公式和方差十分相近,甚至可以说方差是协方差的一种特例。所以协方差不仅是反映了变量之间的相关性,同样反映了多维样本分布的离散程度(一维样本使用方差),协方差越大(对于负相关来说是绝对值越大原创 2021-01-23 22:09:00 · 411 阅读 · 0 评论 -
经典线性降维算法—主成分分析法(PCA)
算法目标:将数据集X={x1,…,xn}从维数为d维的高维空间映射到k维的低维空间,令得到的y={y1,…,yn}中各数据间“区分度”最大。上述的降维转换通过正交变换实现,降维得到的线性子空间由k个相互正交的向量表示,而数据低维表示的各个线性不相关的分量被称为主成分。算法步骤:假设有m条n维数据。1、首先将原始数据排列成n行m列矩阵X。2、将X的每一行减去每一行的均值,在这里也可以给每一行的权重进行设置,也就是乘一个权重系数矩阵。3、求出协方差矩阵C=(1/m)*XT*X。4、求出协方差矩阵原创 2021-01-23 15:31:43 · 685 阅读 · 0 评论 -
数据降维算法分类
数据降维算法分为线性降维算法以及非线性降维算法两类。数据集中XXX中任意数据xi∈\in∈Rd,线性降维有两种方式可以获得XXX的低维表示。1、寻找投影矩阵V=[v1,…,vk]∈\in∈Rd*k:yi=VTxi,yi∈\in∈Rk。2、寻找一组基v1,…,vk:xi≈\approx≈∑\sum∑yi,jvj。yi=[yi,1,…,yi,k]∈\in∈Rk,yi即可看作xi的低维表示。数据降维中最核心的问题在于发现高维观测值中所隐含的有意义的潜在结构。无论线性或非线性降维,其本质都是解决该问题。原创 2021-01-23 15:00:08 · 424 阅读 · 0 评论