特征值,特征向量,SVD分解,PCD分解

本文探讨了矩阵的特征值、特征向量及其性质,包括特征值分解与奇异值分解(SVD)的关系,以及如何通过主成分分析(PCA)实现数据降维。重点介绍了特征值的计算、特征向量的性质以及PCA中的旋转矩阵由SVD提供。
摘要由CSDN通过智能技术生成

特征值,特征向量:

 对于n阶方阵A,在A张成的空间里,存在非零向量v, 该向量转换到A张成的空间时,方向不变,大小变为λ倍。

①  Av = λv 

变换一下:

②  (A - λI)v = 0

对于A向量,特征向量存在非零解的充要条件是下面的行列式值为0:

det(A - λI) = 0

计算出特征值λ。

λ可能有多个值,分别将每个值代入公式②,计算向量v,v是个表达式,也就是可以是多个向量。

向量v只会被伸缩而不会改变方向。代入任意一个值,得到一个特征值λ的特征向量v。

  • 特征值性质:

        特征值λ相加 = 矩阵迹相加

        特征值λ相乘 = 矩阵的行列式

A矩阵的特征值分解:
A = W\Sigma W^{-1}

其中W为特征向量组成的矩阵,Σ为对应特征值组成的对角矩阵

W^{-1}AW = \Sigma


奇异值分解 SVD

任意一个形状的矩阵M,可以分解成如下的形式:

        M = U\Sigma V^{T}

  • M 的形状为m*n,U的形状为m*m的方阵,V为n*n的方阵,Σ为m*n形状矩阵。
  • U 是 MM^{T}得到的结果矩阵的特征向量组成的m*m的方阵
  • Σ对角为奇异值,该值的平方等于特征值,而且依次从大到小排列。
  • V 是  M^{T}M得到的结果矩阵的特征向量组成的n*n的方阵,公式用的是其转置,numpy中提供的函数:np.linalg.svd(),给出的结果也是转置后的结果。
    V^{T}也是PCA主成分的方向。
  • U和V都是酉矩阵,即满足:AA^{T} = I

求解步骤:


主成分分析 PCA

主成分可以看作是数据的新坐标系中的基向量,将原始数据投影到这些主成分上,可以实现数据降维。

步骤:

  1. 将原点放到数据的中心位置。
  2. 找到方差最大的方向

也就是:先将坐标轴的原点移动到数据的中心,再将坐标系旋转到方差最大的方向。这样大多数数据被压缩到一个低维度的X轴上。

关键步骤是找到方差最大的方向。而其结果刚好就是SVD分解的V^{T}

假设手里的数据是D',符合正态分布的白数据是D(图例在下面有)。

D变换到D'的过程相当于:先拉伸S,再旋转R

D' = RSD

 其中R就是我们要找的旋转方向。

先对数据D'进行SVD分解:

D' = U\Sigma V^{T}

其中V值是D'^{T}D'得到的结果矩阵的特征向量组成的n*n的方阵

V^{T} 就是 (D'^{T}D')^{T} = D'D'^{T}得到的结果矩阵的特征向量组成的n*n的方阵

记住V^{T}这个结果,后面会用到它。

手上的数据D'的协方差是:

                C' = \frac{1}{n-1}D'D'^{T}

进行下面的推导:

 经过上面的推导,总结如下:

C = \frac{1}{n-1}D'D'^{T} = R\Sigma R^{-1}

因为A矩阵的特征值分解:A = W\Sigma W^{-1}

所以C的特征分解,也就是D'D'^{T}的特征分解后的W值就是上面的旋转矩阵R,就是对D'进行SVD分解后的V^{T}

L值为特征值组成的矩阵,为S矩阵在两个方向拉伸倍数的平方,为旋转后的坐标系下,数据的方差。此时在该坐标系下方差最小。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

laocui1

你的鼓励是我创作的最大动了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值