PCA是一种主成分分析方法，用于降维和提取数据的主要特征。它涉及到协方差矩阵的特征值分解，寻找最大化方差的主成分。在总体PCA中，目标是找到使得方差最大的特征向量。样本PCA则通过规范化样本数据，计算样本协方差矩阵，并进行特征值分解。奇异值分解是另一种常用的PCA计算手段，尤其适用于大数据集。
PCA
Σ = cov ( x , x ) = E [ ( x − μ ) ( x − μ ) T ] \Sigma=\operatorname{cov}(\boldsymbol{x}, \boldsymbol{x})=E\left[(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}}\right] Σ=cov(x,x)=E[(x−μ)(x−μ)T]
- 总体PCA
- m m m维向量 x x x到 m m m维向量 y y y的线性变换
- y i = α i T x = α 1 i x 1 + α 2 i x 2 + ⋯ + α m i x m y_{i}=\alpha_{i}^{\mathrm{T}} \boldsymbol{x}=\alpha_{1 i} x_{1}+\alpha_{2 i} x_{2}+\cdots+\alpha_{m i} x_{m} yi=αiTx=α1ix1+α2ix2+⋯+αmixm
- 满足
- A A A是标准正交基
- c o v ( y i , y j ) = 0 ( i ≠ j ) cov(y_i,y_j)=0(i\neq j) cov(yi,yj)=0(i=j)
- y ₁ y₁ y₁方差最大,为第一主成分,以此类推
- 求解
- 第一主成分最大 var ( α 1 T x ) = α 1 T Σ α 1 \operatorname{var}\left(\alpha_{1}^{\mathrm{T}} \boldsymbol{x}\right)=\alpha_{1}^{\mathrm{T}} \Sigma \alpha_{1} var(α1Tx)=α1TΣα
- m m m维向量 x x x到 m m m维向量 y y y的线性变换
最低0.47元/天 解锁文章
882
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
